AI教父辛頓WAIC演講全文：必須訓練AI，讓它不想消滅人類

21世紀經濟報道記者倪雨晴、實習生蘇梓丹

“我們必須找到一種辦法，訓練AI，讓他們不想消滅人類。”7月26日，在上海舉辦的世界人工智能大會上，諾貝爾獎與圖靈獎得主、深度學習三巨頭之一的傑弗裡·辛頓（Geoffrey Hinton）以這樣一句警示，直面AI發展的終極命題。

他直言，幾乎所有專家都已達成共識：我們將創造出比人類更聰明的AI，而“我們已經習慣成爲地球上最聰明的生物”，這意味着我們正步入一個難以想象的未來。

辛頓指出，如今的AI智能體不僅能夠完成任務，更擁有自我複製與目標管理的能力。並且他們會尋求生存與控制，以更好地完成我們賦予它們的使命。辛頓表示：“有人覺得把他們關掉就可以了，這是不現實的，他們會勸說操控系統的人別這麼做。”

他用一個生動的比喻說明AI風險：“養老虎當寵物剛出生時很可愛，但如果養大了，你得確保它不會把你吃掉。”區別在於，AI不像老虎那樣可以被消滅——AI技術已在醫療、教育、氣候研究、新材料等領域表現出色，廣泛滲透全球各行業。

即便一個國家選擇停止發展AI，其他國家也不會停步，“這不是一個選項，”他說，這意味着，如果我們想要人類生存的話，我們必須找到一個辦法來訓練AI。面對潛在的風險，他提出建立“全球AI安全社羣”，呼籲主要國家合作研究“如何訓練聰明的AI去向善”。

以下爲21世紀經濟報道記者整理的傑弗裡·辛頓演講全文：

特別感謝大家給我這麼一個機會，給大家分享一下我自己個人的觀點，就是AI的歷史和它的未來吧。

大概60多年了，對於AI有兩種不同的範式和路徑針對它，一個是邏輯性的，那就是過去一個世紀都是以邏輯型的範式，什麼意思？都認爲這個就是邏輯智能的本質在於推理，我們通過一些符號規則對符號的表達式進行操作來實現推理，那麼，這樣能夠幫助我們更好的去理解知識是怎麼代表。另外一種？就是生物作爲基礎的這個理解AI，那就是圖靈和馮諾依曼所相信的。那麼就是智能的一個基礎就是更好的去學習瞭解學習網絡中的一些連接速度。那麼這個過程中的理解是第一位的，才能夠學習，那麼和這兩種這個理論相結合的，那麼就是一個是符號型的AI的那個原理的話。那看來就是這些數字，那麼就這些數字最後又如何能夠成爲關注它詞和詞的這個關係？

心理學家，他是另外一種理論，顯然是完全不同的另一個理論。數字的這個意思，其實它就是一系列語義學的一些特徵。然後這些特徵，它存在自然它也會成爲了一個特徵，在1985年的時候。我做了一個非常小的一個模型，想把這兩個理論結合在一起，然後更好的去理解人們是如何理解一個詞的。所以，每一個詞，我都放了好幾個不同的特徵。然後把前一個數字的這個特徵記錄下來，我們就可以預測下一個數字是什麼，下一個詞是什麼，然後再預測再下一個詞。在這個過程中，我們沒有存儲任何的句子，我生成句子，然後預測下一個詞是什麼。那麼相關聯性的這些知識，也是取決於不同的詞的特徵，語義的特徵是如何進行互動的。

如果你問接下來的30年會發生什麼？10年之後，Benggio他也是用了這樣的一個模式建模，但是他把它規模做的大了很多，它等於成爲了一個自然語言的一個真實的模擬。在20年以後，計算語言學家終於開始去接受特徵向量的嵌入來表達詞的意思。

然後再過了30年，谷歌就發明了Transformer，然後OpenAI的研究人員，也向大家展示了他能夠做到了什麼。所以我們今天的大語言模型，我已經把它視爲微型語言模型的後代，從1985年代以後開始的，他們使用了更多的詞作爲輸入，他們使用了更多層的神經元的結構。因爲需要有大量的模糊不清的一些數字的使用，同時學習特徵之間也建立了更加複雜的交互模式。

但是，就像那些我做的小模型一樣，單元模型它也與人類去理解語言的方式是一樣的。基本的理解就是把這些語言轉化爲一些特徵，然後把這些特徵以一種非常完美的方式整合在一起，這就是LAM裡面各個層次裡面所做的事情，所以我的理解就是大語言模型真的理解你是怎麼理解問題的，和人類理解語言的方式是一樣的。所以我在這裡給大家打一個比方，什麼叫理解一句話，它包含哪一些？符號的AI是什麼？就是把這一套東西，把它轉化成一些不模糊的符號，把語言，但是實際的情況不是人類不是這麼樣理解的。我在這裡打一個比方，就是做那個樂高的積木，通過樂高積木，你可以做成任何3D的一個模式，你可以把一個車子的小模型造出來。你把每一個詞就是視爲一個多維度的一個樂高積木。它可能幾千個不同的維度，那麼這種類型的這些樂高的積木，它就可以做這麼多的維度，它可以是一個建模，它可以做好多不同的內容。

這就語言變成了一個建模。那麼這樣的一個語言，也能夠隨時的溝通給人，然後只要把這些積木給它起一個名字就行。然後每個積木它都是一個詞。所以我們現在，樂高積木它有非常多的一些不同，不是說幾個不同的樂高積木的那種差異了。我們有無數的詞，那麼樂高的積木它的造型是固定的，但是詞，詞它的這個符號，它的形狀是它可以基本上的做出一個設定，但是它也可以根據不同的情況來進行調整，然後樂高模型，它相對比較確定嘛，是一個正方形的插到一個正方形的一個小孔裡面去。但是語言不一樣，每一個語言它可能想象出每一個詞上都有好多個手。比如說，你想你要想更好的理解這個詞的話，就是讓這個詞和另一個詞之間合適的去進行握手。那麼，一旦這個詞的造型發生一個變形的話，它就怎麼和另一個詞握手方式就不一樣了。這裡就有一個優化的一個問題，我一個詞去變形了以後，它的意思變了，那麼這個詞怎麼跟下一個詞握上手，帶來一個更好的一個意思。

這就是什麼叫人腦去理解意思，或者說這個神經網絡去理解意思。最根本的就是這樣的。

所以就有點像是把蛋白質跟蛋白質之間組合起來。蛋白質就是把氨基酸進行不同的模型來進行一個整合。融合之後結合在一起能帶來更有意義的內容，這是人腦理解詞的方式。語言的方式。

所以我到現在講的一個觀點就是，人們理解語言的方式和大語言模型理解語言的方式幾乎是一樣的方式。所以人類有可能就是大語言模型，人類也會和大語言模型一樣去產生幻覺，因爲我們也會創造出來的很多幻覺的一些語言。

那麼大語言模型也會怎麼做。但是也有一些重點的根本性的方式，單元模型和人類不一樣，而且比人類更厲害。根本性的計算機科學的一個原則就是說我們要把軟件和硬件分開看，這就讓你在不同的硬件上面跑步。

如果你能夠工作的話，在一個軟件裡面的一個知識，它是永恆存在的，這個程序永遠會放在那裡，你可以把所有的硬件都把它毀滅掉，就存LM的硬件都毀滅。但只要這個軟件繼續存在，它隨時隨地都會被複活的，所以從這個意義上說，這種計算機的程序的這些知識是永恆的，不會死亡的。那麼這和什麼不一樣？那麼要實現這種永生性，我們就在這些晶體管在非常高功率下去運行，產生可靠的二進制的一些行爲，那麼這個過程就非常的昂貴。

我們不能利用硬件中豐富的這種類比的特性，因爲這些特性是不夠穩定可靠的。它是模擬型的，所以你每次計算都會不一樣的。人腦是模擬的，人腦不是數字的，那每一次神經元去激發的過程中，它都是模擬型的，它不是每一次都一樣的。我不可能把我腦子裡的人腦神經元的結構轉到你腦子裡是做不到的，因爲我們每個人的連接方式是不一樣的，每個人的神經元連接方式是不同的，所以我的神經元的連接方式是適合我的腦子裡的神經結構的。

那麼知識的傳播和硬件裡邊去傳播，就是人的腦子和硬件是不一樣的東西，這就帶來了問題了。

如果我們做不到永生。這些知識軟件它和硬件是不依賴的，所以它是永生的，那麼帶來兩大好處。

我們可以用很小的功率，很小的這個電能，我們大腦就只要30個瓦特就足夠用了。我們有幾萬億的神經元的連接，那麼就是和那個電子管的這些情況是一樣的，我們不需要就是要花非常多的錢去做一模一樣的這些硬件。但是我們現在還有一個比較大的問題，就是從一個模擬的模型，要從一個模擬模型轉到另外一個模型，把它的知識轉過去，那是非常不高效的，非常難的。我沒有辦法用我的把我腦子裡的東西展示給你，這是不一樣的，我們能做的就是用其他的方式。

來解釋給你一下，我已經學到的是哪些東西。所以要解決這個問題的最佳方法叫蒸餾，DeepSeek就是這麼做的，就是從一個大的神經元網絡，把它的知識轉到一個小神經元網絡裡面去蒸餾。就像是教師和學生的關係，在有些情況下，教師他把事情連在一起，他把一個詞和另一個詞他們互相連接的上下文聯繫起來，然後學生他也可以說同樣的話，但是他調整了權重。所以，我們訓練他的這種方式也是這樣的，就是你把一個人的知識轉轉給另外一個人也是這樣的，但是他非常不高效。

所以可能一句話裡面有100個比特的信息不是特別多，這就限制了我們可以把知識轉到另外一個人能夠轉多少，我可以很慢的講話的方式把知識轉化給給你，一秒鐘最多也就100個比特左右。如果你全聽懂了我的話的話，所以效率並不是非常高，但是如果把它去對比數字智能之間轉化知識的效率的話，那是有巨大的差別的。我們用同一個神經網絡這個軟件，做了幾百個不同的拷貝放在不一樣的硬件裡面，他們都是用數字的，他們會以同樣的方式用自己的權重，然後他們可要平均化它的這種權重的方式，就可以把知識進行分享。

我們可以有成千上萬的拷貝，他們可以自己來改變他們的權重，然後，取一個平均數，這樣就能夠轉移知識，然後這樣的轉移的速度，取決於你有多少個連接點。每次能夠分享萬億個比特，而不是幾個比特，而是幾十億個比特。然後，比人類分享的知識要快幾十億倍。所以，ChatGPT-4非常好，他們有很多的不同的拷貝在不同的硬件上運轉，他們可以分享他們從網上學到的不同的信息。如果有智能體在現實世界當中運行，這就更重要了，因爲他們能夠不斷的加速，不斷的拷貝，有很多的智能體的話，那麼就比單個智能體學的更多，他們能分享他們的權重，模擬的軟件或者模擬的硬件就做不到這一點。

所以，我們的看法是，數字計算需要很多的能源，但是，智能體可以很方便的獲取同樣的權重，分享不同的經驗當中學到的東西。生物計算當中，用能更少，但是分享知識是很難的，就像我現在所展示的這樣，如果能源很便宜，數字計算那麼就會好很多。

這也讓我很擔憂，因爲幾乎所有的專家都認爲，我們會生產比我們更智能的AI。我們習慣成爲最智能的生物，所以很多人覺得難以想象，如果在世界當中AI比人更智能會怎麼樣？我們可以這麼來看，如果你想要知道會怎麼樣，如果不是人類，不是最智能的話會怎麼樣？

我們在創造AI智能體，他們能夠幫我們完成任務。這些智能體，他們已經有能力可以進行拷貝。他們能給自己的子目標評級。那麼他們會想做兩件事情，他們想要生存，然後來完成我們給他們的目標。他們也希望能夠獲得更多的控制，同時也是爲了完成我們給他們的目標，所以，這些智能體，他想要生存，想要更多的控制。

我覺得我們不能只是把他們一關了事，他們會很方便的來操縱用他們的人，我們就會像3歲，然後他們像成年人一樣，那操縱3歲的人，是很容易的。所以，有人覺得他們變得聰明，我們就把他們關掉，這是不現實的，他們會操縱我們，會勸說操控機器的人不要把他們關掉。

所以，我覺得我們現在的情況。有個人把老虎當寵物，那老虎也可以當小虎崽，是很可愛的寵物。但是，如果一直養這個寵物，那麼你要確保它長大的時候，它不會把你給殺掉。一般來說，養老虎當寵物不是一個好的想法，那麼只有兩個選擇。

一個，你把它訓練好，他不來殺你，或者你把它給幹掉。用AI的話，我們就沒有辦法把它給消滅掉。AI 是非常好的，有很多方面都做得很好，比如說醫療、教育或者氣候變化、新材料。AI把這些任務都做得非常好，幾乎能夠幫助所有的行業變得更有效率，我們是沒有辦法消除AI的，即使一個國家消除了AI，別的國家也不會這麼做。所以，這不是一個選項，這意味着如果我們想要人類生存的話，我們必須找到一個辦法來訓練AI，讓他們不要消滅人類。

現在，我發表個人的觀點，我覺得各個國家可能不會在一些方面進行合作，比如說網絡攻擊，或者是致命的武器，或者是這個虛假的操縱公衆意見的視頻。各國的利益是不一致的，他們有着不同的看法，我覺得不會在這方面有有效的國際合作。我們可以防止一些人來製造病毒，但是在這些方面不會有什麼國際合作，但是有一個方面，我們是會進行合作的，那我覺得這也是最重要的一個問題。

我們看一下50年代冷戰的巔峰時期，美國和蘇聯一起合作來預防全球的核戰爭，大家都不希望打核戰爭，儘管他們在很多方面都是對抗的，但是他們在這一點上面可以合作。我們現在的局面是，沒有一個國家希望AI統治世界，每個國家都希望人類能夠掌控世界。如果有一個國家找到一個辦法來預防、防止AI操縱事件的話，那麼這個國家肯肯定會很樂意告訴其他國家。

所以，我們希望能夠有一個AI安全機構構成的一個國際社羣來研究技能，來培訓AI，讓他們向善。我們的希望是，訓練AI向善的技巧。可以說，和訓練AI聰明的技術是不一樣的。所以，每個國家可以做自己的研究，讓AI向善。他可以在自己主權的AI上進行研究，可以不給別的國家，但是可以把成果分享給大家，也就是怎麼訓練AI，讓AI向善。

所以，我有一個提議，全球或者是全球主要國家，或者AI的主要國家，應該思考一下，建立一個網絡，包括各個國家的一些機構來研究這些問題，研究怎麼來訓練AI，一個已經非常聰明的AI。讓這個AI不想要消滅人類，不想要統治世界，讓這個AI很高興地做一個輔助的工作。儘管AI比人要聰明很多，我們現在還不知道怎麼去做這件事，從長期來說，這可以說是人類面臨的最重要的問題，我們的好消息就是，在這個問題上，所有的國家都是可以一起合作的，謝謝。