21特寫｜AI教父辛頓：榮光加冕，深淵在望

21世紀經濟報道記者吳斌 上海報道

“毛毛蟲吸取了營養之後，就會化身爲蝶。而人類提煉了數十億個認知的金塊，GPT-4就是人類的那隻蝴蝶。”2023年3月GPT-4發佈時，AI教父傑弗裡·辛頓（Geoffrey Hinton）憂心忡忡。

“我對自己畢生的工作感到非常後悔，我用一個藉口來安慰自己，如果我沒有這麼做，還會有其他人。”在GPT-4發佈一個月後，爲了能不受約束地警告人們警惕AI的潛在風險，2023年4月，辛頓毅然辭去了谷歌副總裁的職務，開始頻繁發出警告。

這一關鍵轉折點也爲兩年多后辛頓首次到中國參加線下活動埋下伏筆。辛頓的腰傷是老毛病，長途飛行對他是個折磨。但77歲的辛頓最終現身2025世界人工智能大會，這也是他多年來罕見的長途國際旅行。

2018年，辛頓、楊立昆（Yann LeCun）和約書亞·本希奧（Yoshua Bengio）一起因對神經網絡的研究獲得圖靈獎。2024年，諾貝爾物理學獎授予約翰·霍普菲爾德（John Hopfield）和辛頓，以表彰他們“在實現使用人工神經網絡進行機器學習方面的基礎性發現和發明”。

在谷歌、OpenAI和其他科技公司開始構建神經網絡時，辛頓認爲，這是機器理解和產生語言的一種強大方式，他一度對AI的未來抱有無限憧憬和美好期待。辛頓在深度學習最黑暗的時期堅守了半個世紀，最終見證了神經網絡的勝利。

但他沒有料到，AI的進化速度竟如此迅猛，快過人類準備的速度。這位AI先驅在榮光與陰霾間，見證着自己點燃的AI火焰如何燎原，彷徨邁向未知之境。

“當今的多模態聊天機器人已經具有意識（Current multi-model chatbots are already conscious）。”辛頓的警告聲震耳欲聾。

他打了個比方，假設一個多模態聊天機器人有機械臂可以指向東西，有攝像頭可以看東西，在它面前放一個物體，人類說“指向那個物體”，它就指了。然後在它的鏡頭前放一個棱鏡，再放一個物體，說“指向那個物體”，它指向了錯誤的方向。人類可以提醒：“不對，物體實際上在你正前方，但我在你鏡頭前放了個棱鏡。”聊天機器人說：“哦，我明白了，棱鏡彎曲了光線，所以物體實際上在那裡，但我有主觀體驗認爲它在這裡。”

雖然機器人還需要進一步處理感知、意識、感受和情緒，但辛頓認爲最終它們都會以類似的方式被處理，機器沒有理由不能擁有這些。

此前，大模型從人類提供給它們的文檔中學習，學會了預測一個人會說的下一個詞。但未來一旦有能在世界中體驗的智能體（如機器人），它們不僅可以從自己的經驗中學習，而且最終學到的會比人類多得多。

人類或許與大語言模型相似，都會產生 “幻覺”，但整體而言，辛頓表示，最終大語言模型優於依賴類比信號的人類大腦。

他指出，人腦具有自己的優勢。人類的神經元連接達數萬億個，無需花費大量資金製造完全相同的硬件。並且，計算功耗低——人腦只需30瓦特就能運轉。“但問題在於，模擬模型間的知識轉移效率極低，我無法直接將腦中的知識展示給他人。”

這也讓辛頓感到擔憂：“幾乎所有專家都認爲，我們會創造出比人類更智能的AI。人類習慣了作爲最智能的生物，很難想象AI超越人類的場景。我們創造的AI智能體已經能幫我們完成任務，它們能拷貝自身、評估子目標，還會爲了生存和完成目標而尋求更多控制權。”

人類如何不被自己造出的智能體消滅？對於即將邁進耄耋之年的辛頓而言，此次中國之行也是尋找答案之旅。

一方面，人工智能對科學的幫助顯而易見。辛頓表示，迄今爲止最令人印象深刻的例子是蛋白質摺疊，Demis Hassabis和John Jumper等人使用人工智能，付出大量努力，證明了這一點。在預測蛋白質如何摺疊方面，人類藉助AI可以做得更好。這是一個早期信號，預示着AI將在衆多科學領域帶來進步。

另一方面，人工智能系統日益強大、更具自主性，可能在操作者毫不知情的情況下，執行並非操作者所期望或預測的行動。人工智能系統日益顯現欺騙性和自我保護傾向，例如在模擬情境中，當系統即將被新版本替換時試圖脅迫開發者。

隨着智能水平的不斷攀升，人工智能系統一旦失控，會給人類帶來災難性乃至生存性風險。目前許多人工智能系統具有空前的能力和薄弱的安全防禦，不法分子也可以用其開發生化武器或製造虛假信息、操控人心。

辛頓提醒，需要區分兩種完全不同的風險：一種來自人類濫用AI，這是大部分風險，也是短期風險；另一種是AI變得超級聰明後，決定不再需要人類。

需要警惕的是，目前的監管體系、人工智能安全研究投入以及風險緩解方法仍大幅落後於技術本身的迭代。與人工智能開發獲得的支持和關注相比，人工智能安全研究的投入仍相去甚遠。

7月25日，辛頓、姚期智、本希奧等超過20位行業專家、學者共同簽署的“AI安全國際對話上海共識”（以下簡稱“上海共識”）正式公開。

人類正處於一個關鍵轉折點。上海共識指出，人工智能正迅速逼近並可能超越人類智能水平。然而，依據現有的系統欺瞞人類開發者的證據推測，具有超過人類智慧的人工智能系統可能在未來脫離人類控制或被不法分子利用，帶來災難性風險。因此，全球研究者必須聯合起來，確保人工智能系統受人類掌控且符合人類價值觀。

面對前所未有的挑戰，上海共識提出了三大建議：“要求前沿人工智能開發者提供安全保障”“通過加強國際協調，共同確立並恪守可驗證的全球性行爲紅線”“投資基於設計的安全人工智能研究”。

辛頓提醒，因利益和看法不同，各國在網絡攻擊、致命武器、虛假信息操縱等領域的合作難度較大。但在“人類掌控世界”這一目標上，各國存在共識：若有國家找到防止AI操控世界的方法，一定會願意分享。

因此他提議，全球主要國家或AI大國應建立一個由AI安全機構組成的國際社羣，研究如何訓練高智能AI向善，這與訓練AI變得聰明的技術不同。各國可在自身主權範圍內研究，再分享成果。儘管目前還不知道具體怎麼做，但這是人類長期面臨的最重要問題，所有國家都能在這一領域合作。

數字智能是否會超越生物智能？在辛頓眼中，這只是時間問題。

人類難以永久留存知識，大腦死亡即意味着知識消逝，知識傳遞效率相對低下，無法完全複製。而AI可通過共享參數快速傳遞知識，例如藉助蒸餾技術（如DeepSeek的實踐）。如果獨立智能體能共享同一組權重並以相同方式運作，就能實現數十億乃至數萬億比特帶寬的知識傳遞。

辛頓認爲，原則上沒有什麼能阻止機器具有意識。假設拿走一個人的大腦，取出一個腦細胞，放入一個同樣大小的納米技術替代物，它的行爲完全一樣，當接收到其他神經元的信號時，它發送的信號就像原來的腦細胞一樣，其他神經元不知道有任何變化。用這個納米技術部件替換腦細胞，人類仍會有意識。

在辛頓看來，意識是複雜系統的一種涌現屬性，而不是貫穿整個宇宙的某種本質。人類可以創造足夠複雜的系統，複雜到足以擁有自身模型，並且進行感知，那就是有意識的機器。

谷歌的Palm系統能夠解釋爲什麼一個笑話好笑，辛頓認爲這是一個里程碑，如果AI能說出笑話爲什麼好笑，就真的理解了。

有人認爲可以在AI變得過強時關掉它們，但辛頓表示，這並不現實。AI最終可能會像成年人操縱3歲孩子一樣操縱人類，勸說控制機器的人不要關閉它們。“這就像把老虎當寵物，幼虎很可愛，但長大後可能傷人，而養老虎當寵物通常不是好主意。”

機器人最終可能也會有感情。辛頓舉例稱，一個小型戰鬥機器人看到一個比它強大得多的大型戰鬥機器人，如果它感到害怕會非常有用。人們會在機器人中植入這樣的功能：當情況需要它們趕緊逃跑時，它們會感到害怕並逃跑。那時它們就有了情感，小機器人害怕了，逃跑了，它不是因爲腎上腺素而逃跑，而是因爲神經網絡中發生的一系列過程，效果相當於腎上腺素。

面對AI，辛頓認爲只有兩個選擇：要麼訓練它永遠不傷害人類，要麼“消滅”它。但 AI 在醫療、教育、氣候變化、新材料等領域作用巨大，能提升各行各業的效率，無法消除它。即便一個國家放棄 AI，其他國家也不會。因此，若想讓人類生存，必須找到訓練AI不傷害人類的方法。

面向未來，辛頓認爲人類需要既聰明又善良的AI，但如何訓練AI變得聰明和如何訓練它變得善良是不同的技術。各個國家應該分享讓AI善良的技術，即便他們不願意分享讓AI聰明的技術。仍然有機會弄清楚如何開發不想取代人類的AI，應該投入巨大資源去弄清楚這一點，如果不這樣做，AI就會取代人類。

“必須面對這種可能性，儘快採取行動，否則我們已經接近終點了。”在彷徨中，人類仍需擎一簇微光，照亮前方。