AI教父辛頓尖峰對話：各國應大量研究並分享讓AI善良的技術

21世紀經濟報道記者吳斌 上海報道

7月26日至28日，2025世界人工智能大會暨人工智能全球治理高級別會議在上海舉辦。AI教父傑弗裡·辛頓（Geoffrey Hinton）與上海人工智能實驗室主任、首席科學家周伯文開展了一場尖峰對話。兩位科學家談及AI多模態大模型前沿、“主觀體驗”和“意識”、如何訓練“善良”的超級智能、AI與科學發現，以及給年輕科學家的建議。

辛頓表示，幾乎每個人都對“主觀體驗”這類術語有着根深蒂固但完全錯誤的理論。有了錯誤的模型，會做出錯誤的預測。他的觀點是，當今的多模態聊天機器人已經具有意識。

大模型從人類提供給它們的文檔中學習，它們學會了預測一個人會說的下一個詞。但是，一旦出現像機器人這樣的在世界中的智能體，它們就可以從自己的經驗中學習，而且辛頓認爲，它們最終學到的會比人類多得多。

辛頓認爲，人們可以研發出既聰明又善良的AI，但如何訓練它變得聰明和如何訓練它變得善良是不同的問題。雖然這是同一個AI，但會通過不同的技術來實現。各個國家應該分享讓AI善良的技術，即便他們不願意分享讓AI聰明的技術。

“那是我的希望，可能無法實現，但這是一種可能性，我認爲我們應該研究這種可能性。”辛頓指出。

在對話最後，辛頓對年輕科學家表示，如果想做出真正原創的研究，就要尋找那些“所有人都搞錯了”的領域。“當你認爲‘大家都搞錯了’，大多數時候你最終可能會發現大家那樣做是有原因的，而你的方法是錯的。但你永遠不應該輕易放棄新思路，不要因爲你的導師說‘這個方法很蠢’就放棄。忽略導師的建議，堅持你篤信的，直到你自己弄懂。”

“偶爾你會發現，你的信仰其實是正確的，重大突破正是由此而來，它們從不屬於輕易放棄之人。”辛頓勉勵道。

以下爲21世紀經濟報道記者整理的辛頓與周伯文對話全文。

周伯文：關於多模態模型的主觀體驗，你認爲可以證明即使是當今的多模態和語言模型也能發展出自己的主觀體驗。你能詳細闡述一下嗎？

辛頓：我認爲關於它們是否具有意識或主觀體驗的問題，嚴格來說不是一個科學問題，而是取決於你如何定義“主觀體驗”或“意識”。我們大多數人對這些概念的理解模型都是完全錯誤的。就像人們可以正確使用詞語，卻對詞語如何運作持有完全錯誤的理論。

讓我用一個日常詞彙的例子來說明。想想“水平”和“垂直”這兩個詞。大多數人都認爲自己理解它們的含義，但實際上他們的理解是錯誤的。我來證明一下：假設我手裡有很多小鋁棒，它們朝向各個方向。我把它們拋向空中，它們翻滾、碰撞，然後我突然讓時間靜止。

這時空中有很多鋁棒。問題是：與垂直方向夾角在1度以內的鋁棒更多，還是與水平方向夾角在1度以內的鋁棒更多？或者數量差不多？幾乎所有人都說“差不多”。他們的理解是錯誤的，實際上，與水平方向夾角在1度以內的鋁棒數量是垂直方向的約114倍。“垂直”是非常特殊的方向，而“水平”則很“普通”，但人們不知道這一點。

這個例子看似與意識問題無關，但它說明：我們對詞語運作方式的理解可能是完全錯誤的。同樣，幾乎每個人都對“主觀體驗”這類術語有着根深蒂固但完全錯誤的理論。這不是真正的科學問題，而是源於我們對心理狀態的錯誤模型。我們有這些用來描述心理狀態如何運作的術語，並且有了錯誤的模型，會做出錯誤的預測。我的觀點是，當今的多模態聊天機器人已經具有意識。

周伯文：所以，這聽起來讓在場的許多研究者感到震驚，剛纔圖靈獎得主、加拿大計算機科學家Richard S. Sutton做了一個演講，題目是《歡迎來到體驗時代》，當人類數據耗盡時，模型可以從自己的體驗中學習很多。你從另一個角度闡明瞭，智能體或多模態大模型，不僅從經驗中學習，它們還可以發展出自己的主觀體驗。Richard沒有過多觸及這種從主觀體驗中學習的潛在風險。你想就此多談談嗎？到目前爲止，智能體可以從主觀體驗中學習，這是否會在未來帶來任何潛在風險？

辛頓：大模型從人類提供給它們的文檔中學習，它們學會了預測一個人會說的下一個詞。但是，一旦你有像機器人這樣的在世界中的智能體，它們就可以從自己的經驗中學習，而且我認爲它們最終學到的會比我們多得多。

周伯文：幾天前當我們在IDAIS（AI安全國際對話）討論前沿風險時，你提到，減少未來AI風險的一個可能解決方案，是設法將AI的不同能力分別處理。

辛頓：我不是那個意思。我的意思是，你會有既聰明又善良的AI，但如何訓練它變得聰明和如何訓練它變得善良是不同的問題。你可以有讓它善良的技術和讓它聰明的技術。這將是同一個AI，但會有不同的技術。所以，各個國家應該分享讓AI善良的技術，即便他們不願意分享讓AI聰明的技術。

周伯文：我真的很喜歡這個想法，但我對我們在這一方向上能走多遠有些疑問。你認爲會有某種通用的AI訓練來使AI變得善良嗎？這些方法可以應用在不同智能水平的AI模型上嗎？

辛頓：那是我的希望，可能無法實現，但這是一種可能性，我認爲我們應該研究這種可能性。

周伯文：是的，確實如此。我提出這個問題並不是因爲我不喜歡這個想法，而是因爲我想提高人們的意識，讓更多人能在你提到的方向上進行更多研究。而且我想在這裡做一個物理學類比，來向你展示爲什麼我有這個疑問。當物體低速運動時，牛頓定律有效。但物體運動速度接近光速時，牛頓定律就不再適用了，所以我們必須求助於愛因斯坦來獲得更好的解決方案。順便說一下，這有點班門弄斧，因爲我正在向一位諾貝爾物理學獎得主講解物理學101（大學物理入門課）。

辛頓：（瑞典皇家科學院給我頒獎）是一個錯誤。他們想在人工智能領域頒發諾貝爾獎，但他們沒有這個獎項，所以他們拿了一個物理學的獎頒給人工智能（的科學家）。

周伯文：哦不，這不是錯誤，你絕對值得這項殊榮。我想用這個類比來說明一個觀點，對於善良的要求，可能需要根據智能系統的不同層級進行調整和改變。我不知道這是否正確，但我確實希望聰明的年輕人可以想辦法來實現這一點。

辛頓：是的，很有可能，隨着系統變得更加智能，讓它變得善良的技術也會發生變化。我們現在還不知道答案，這就是我們現在需要對其進行大量研究的原因之一。

周伯文：很多人對辛頓印象深刻，作爲一位成就卓著的學者，你經常說“我不知道”。我覺得這非常誠實和開明，我們都要向你學習。今天我們這裡有一半的參會者來自量子物理、細胞生物學等不同前沿科學領域。今天我們齊聚一堂，正是因爲相信AI與科學的交叉融合將帶來突破。關於利用AI促進科學進步，或者反過來利用科學驅動AI發展，你怎麼看？

辛頓：我認爲人工智能對科學的幫助是顯而易見的。顯然，迄今爲止最令人印象深刻的例子是蛋白質摺疊，Demis Hassabis和John Jumper等人使用人工智能，付出大量努力，證明了這一點。在預測蛋白質如何摺疊方面，我們藉助AI可以做得更好。這是一個早期信號，預示着AI將在衆多科學領域帶來進步。我聽說了上海AI實驗室的例子，在預測颱風登陸地點和天氣預報方面，人工智能可以做得更好一些。

周伯文：對，我們用AI模型做出來的結果，比基於PDE（偏微分方程系統）的傳統物理模型表現更優。

周伯文：你不僅拓展了AI技術的邊界，更深刻影響了下一代科研工作者。在上海AI實驗室，我們的研究人員平均年齡只有30歲，AI的未來屬於年輕一代。你能否給這些年輕人一些加速成長的建議？你最想傳遞給他們什麼？

辛頓：我想最核心的建議是：如果想做出真正原創的研究，就要尋找那些“所有人都搞錯了”的領域。當你認爲“大家都搞錯了”，大多數時候你最終可能會發現大家那樣做是有原因的，而你的方法是錯的。但你永遠不應該輕易放棄新思路，不要因爲你的導師說“這個方法很蠢”就放棄。忽略導師的建議，堅持你篤信的，直到你自己弄懂。

偶爾你會發現，你的信仰其實是正確的，重大突破正是由此而來，它們從不屬於輕易放棄之人。你必須堅持己見，即使他人並不認同。

有一個邏輯支撐這一觀點：你可能擁有好的直覺，也可能直覺很差。如果你的直覺很好，那你顯然應該堅持；如果你的直覺很差，那你做什麼關係都不大，所以你依然應該堅持自己的直覺。

周伯文：我想我們可以就此暢談一整天，但我知道你已疲憊。最後，請在場所有人隨我一同感謝辛頓爲我們傾注的時間，非常感謝你。