Anthropic CEO ：5到10年內，AI將助力人類掃除幾乎所有疾病

Anthropic 的 CEO Dario Amodei發表了一篇名爲《機器愛的恩寵》的文章，討論了強大人工智能（AI）對人類社會的潛在影響。

他不僅描繪了一個充滿希望的未來，還提出了具體的AI技術如何能夠改變這些領域的預測。

Amodei 預測： AI可能會在未來5到10年內實現50到100年的醫學進步。

這意味着可能出現以下成果：

- 疾病預防與治療的重大突破：幾乎所有自然傳染性疾病將得到有效的預防和治療。mRNA疫苗技術的進步將有可能創造出“萬能疫苗”。

- 癌症的消除：癌症死亡率預計將下降95%以上，個性化基因治療和靶向治療技術的發展將使癌症治療更加精準和高效。

- 遺傳病的治癒：通過改進後的CRISPR技術和胚胎篩選，遺傳性疾病將得到大規模預防和治療。

- 壽命延長：人類壽命有望翻倍，達到150歲。AI有可能通過開發抗衰老藥物和療法，使人類健康壽命顯著延長。

- 神經科學與心理健康：AI可以幫助科學家更好地理解大腦的工作機制，從而開發出新的治療方法，治癒如抑鬱症、精神分裂症等精神疾病。

- 重新定義工作與生活的意義：AI可以自動化大部分重複性勞動，從而讓人類專注於更有創造性和價值的工作。

- 經濟增長的推動：AI也有潛力推動全球經濟增長，尤其是幫助低收入國家實現快速的經濟追趕。

Dario認爲，許多人低估了AI的正面潛力，同時也低估了AI可能帶來的風險。他的觀點是，雖然AI的風險需要謹慎對待，但如果我們能夠有效地解決這些風險，AI將爲人類帶來巨大的進步。這篇文章提供了對未來的猜想，試圖讓人們更清楚地看到AI可能帶來的積極變革。

以下是全文翻譯

機器的愛之恩典 AI如何讓世界變得更美好

我經常思考並討論強大AI的風險。我領導的公司Anthropic開展了大量的研究，旨在減少這些風險。因此，有時人們得出結論，認爲我是個悲觀主義者或“末日論者”，覺得AI大部分情況下是危險或不好的。我並不這麼認爲。實際上，我之所以關注風險，是因爲我認爲它們是阻礙我們走向一個根本上積極未來的唯一障礙。我認爲大多數人低估了AI帶來的積極影響，就像我認爲大多數人低估了AI可能帶來的巨大風險一樣。

在這篇文章中，我將嘗試勾勒出這種積極影響的可能樣貌——如果一切順利的話，強大AI將如何改變世界。當然，沒有人能夠確定地預測未來，強大AI的影響可能比過去的技術變化更加難以預測，所以這一切不可避免地都充滿了猜測。但我努力使這些猜測至少是經過深思熟慮且有益的，即使大多數細節可能是錯誤的。我包括了很多細節，主要是因爲我認爲具體的願景比高度保留和抽象的願景更能推動討論。

不過首先，我想簡要解釋一下爲什麼我和Anthropic沒有太多討論強大AI的好處，爲什麼我們可能會繼續更多地討論風險。特別是，我做出這種選擇是基於以下幾點：

儘管以上所有問題存在，我真的認爲討論強大AI可能帶來的美好世界非常重要，同時我們應盡力避免上述陷阱。實際上，我認爲擁有一個真正鼓舞人心的未來願景至關重要，而不僅僅是滅火計劃。強大AI的許多影響是對抗性的或危險的，但最終必須有一個我們爲之奮鬥的目標——一個正和的結果，讓每個人都能變得更好——一個讓人們超越彼此的分歧，共同應對未來挑戰的願景。恐懼是一種動力，但它還不夠：我們還需要希望。

AI的積極應用領域非常廣泛（包括機器人技術、製造、能源等），但我將重點放在幾個我認爲最有可能直接改善人類生活質量的領域。這五個類別是：

我的預測可能被大多數標準視爲激進（與科幻“奇點”願景[^2] 相比除外），但我是真誠地在進行這些預測。所有我說的內容都可能是錯誤的（如前文所述），但我至少嘗試將我的觀點建立在對各領域進展速度的半分析性評估上，並試圖理解這些進展可能在實踐中意味着什麼。幸運的是，我在生物學和神經科學領域有專業經驗，我在經濟發展領域則是一名知識豐富的業餘愛好者，但我確信自己會在許多方面出錯。

撰寫本文讓我意識到，召集一組領域專家（在生物學、經濟學、國際關係等領域）來撰寫一份比我所做的更好、更專業的版本將會非常有價值。最好將我在這裡的努力視爲爲該小組提供的一個起點。

基本假設和框架

爲了使整篇文章更加具體並更具依據，清楚地闡明我們所說的強大AI的定義（即5到10年倒計時開始的臨界點），並且明確這種AI一旦出現時其影響的框架是有幫助的。

什麼是強大AI（我不喜歡“AGI”這個術語[^3]），以及它何時（如果會的話）出現，本身就是一個巨大的討論話題。我已經在公開場合討論過這個問題，未來可能還會寫一篇單獨的文章來深入探討。當然，許多人對強大AI即將建成持懷疑態度，有些人甚至懷疑它是否會被建成。我認爲它可能最早在2026年出現，儘管也有可能需要更長時間。但是爲了本文的目的，我希望暫時擱置這些問題，假設它會很快到來，並且重點關注它到來後5至10年內會發生什麼。我還希望在這篇文章中假設關於這種系統的定義、它的能力以及它如何互動的基本概念，儘管在這些問題上仍然存在分歧。

按照我對強大AI的定義，我所想象的AI模型可能與今天的大型語言模型（LLM）在形式上相似，儘管它可能基於不同的架構，可能涉及多個相互作用的模型，並且訓練方式也可能不同。具有以下幾個特徵：

我們可以將這一切總結爲“數據中心中的天才國度”。

顯然，這樣一個實體能夠解決非常困難的問題，而且速度極快，但弄清楚它的速度究竟有多快並不容易。兩種極端觀點在我看來都是錯誤的。首先，你可能會認爲世界會在幾秒或幾天的時間裡瞬間轉變（所謂的“奇點”），因爲更高的智能將自我加速，並幾乎立即解決所有可能的科學、工程和操作任務。這個問題在於，存在真實的物理和實踐限制，例如製造硬件或進行生物實驗的實際速度。即使一個新的天才國度也會遇到這些限制。智能可能非常強大，但它不是魔法仙塵。

另一方面，你可能認爲技術進步已經飽和，或者受限於現實世界的數據或社會因素，並且比人類更智能的AI幾乎不會帶來太大變化。這在我看來同樣不可信——我能想到數百個科學甚至社會問題，如果有一大羣非常聰明的人從事這些問題的研究，進展將顯著加快，尤其是如果他們不僅限於分析，還能在現實世界中實際推動進展（正如我們設想的天才國度可以做到的那樣，包括指導或幫助人類團隊）。

我認爲，真相可能是這兩種極端圖景的某種混合體，並且其效果會因任務和領域的不同而異，並在細節上極爲微妙。我相信，我們需要新的框架來以一種富有成效的方式思考這些細節。

經濟學家經常談論“生產要素”：如勞動力、土地和資本。“勞動/土地/資本的邊際回報”這個短語描述了在給定的情況下，某種要素可能是限制因素——例如，一個空軍既需要飛機也需要飛行員，如果你沒有足夠的飛機，僱傭更多的飛行員也無濟於事。我相信在AI時代，我們應該討論智能的邊際回報，並嘗試弄清楚還有哪些因素與智能互補，並且當智能非常高時會成爲限制因素。我們不習慣以這種方式思考——即詢問“在這項任務中，變得更聰明有多大幫助，且在什麼時間框架內？”——但這似乎是理解一個擁有非常強大AI的世界的正確方式。

根據我對這些問題的猜測，限制或與智能互補的因素包括：

此外，還存在基於時間尺度的區別。在短期內是困難的限制因素，隨着時間推移，智能可能使這些因素變得更加靈活。例如，智能可以用來開發新的實驗範式，使我們能夠通過體外實驗來學習以前需要在活體動物身上進行的實驗，或者建造所需工具來收集新數據（例如更大的粒子加速器），或（在道德限制範圍內）找到繞過人類限制的方法（例如，幫助改進臨牀試驗系統，幫助創建新的管轄區，在這些管轄區內臨牀試驗的官僚程序較少，或者改進科學本身，使人體臨牀試驗不再那麼必要或昂貴）。

因此，我們應該想象這樣一種圖景：最初智能在其他生產要素的限制下嚴重受阻，但隨着時間推移，智能逐漸繞過這些限制，儘管它們永遠不會完全消失（某些物理法則是絕對的）。關鍵問題是這些過程發生的速度以及順序如何。

生物學與健康

生物學與健康領域的巨大潛力

生物學可能是科學進步對人類生活質量產生最直接和明確影響的領域。在過去的一個世紀裡，人類終於戰勝了一些古老的疾病（如天花），但許多其他疾病依然存在，戰勝這些疾病將是一項巨大的成就。更進一步，生物科學原則上可以提高人類的健康基礎質量，延長健康壽命，增加對我們自身生物過程的自由掌控，並解決一些我們目前認爲是人類生存狀態中不可避免的挑戰。

在前面提到的“限制因素”框架中，將AI應用於生物學的主要挑戰包括數據、物理世界的速度和固有的複雜性（實際上，這三者是相互關聯的）。人類的限制因素也在後期階段發揮作用，尤其是涉及臨牀試驗時。讓我們逐一分析這些因素。

物理世界的速度：細胞、動物甚至化學過程的實驗都受到物理世界的速度限制。許多生物學實驗涉及細菌或其他細胞的培養，或者等待化學反應發生，這有時需要數天甚至數週，沒有明顯的方式加速這一過程。動物實驗可能需要數月，而人體實驗通常需要數年（甚至幾十年，尤其是長期結果研究）。有時也與此相關，數據往往不足——不僅是數量上的不足，更是質量上的不足：總是缺乏明確、無歧義的數據來隔離我們關心的生物效應，或在某一過程上進行因果乾預，或者直接測量某些效應（而不是以某種間接或噪音較大的方式推斷其後果）。

數據複雜性：即使我們擁有大量分子數據，例如我在進行質譜技術工作時收集的蛋白質組數據，這些數據往往也非常嘈雜，而且遺漏了很多信息（例如，這些蛋白質存在於哪些細胞類型？它們位於細胞的哪個部位？處於細胞週期的哪個階段？）。

固有複雜性：如果你曾經見過人體代謝的生物化學圖，你就會知道要隔離這個複雜系統中的任何部分的效應是非常困難的，而要精確干預該系統則更加困難。最後，超越了在人體實驗上運行實驗所需的時間，實際的臨牀試驗還涉及大量的官僚主義和監管要求，許多人（包括我在內）認爲這些要求是額外的負擔，導致進展延遲。

鑑於此，許多生物學家對AI以及“生物大數據”的價值一直持懷疑態度。歷史上，數學家、計算機科學家和物理學家在過去30年中將他們的技能應用於生物學，取得了相當的成功，但並沒有帶來最初預期的真正顛覆性影響。像AlphaFold這樣的重大突破（它的創始人剛剛贏得了諾貝爾化學獎）以及AlphaProteo的成功，減少了這種懷疑，但人們仍然認爲AI僅在有限的環境下有用。一種常見的說法是：“AI可以更好地分析數據，但它不能產生更多數據或提高數據質量。輸入的是垃圾，輸出的也是垃圾。”

但我認爲，這種悲觀觀點是用錯誤的方式看待AI。如果我們關於AI進步的核心假設是正確的，那麼看待AI的正確方式不是作爲一種數據分析方法，而是一個虛擬生物學家，它可以執行生物學家所做的幾乎所有任務，包括設計和運行現實世界中的實驗（通過控制實驗室機器人或簡單地告訴人類該進行哪些實驗——就像一個博士生導師對他的研究生那樣），發明新的生物學方法或測量技術，等等。通過加速整個研究過程，AI可以真正加速生物學的進步。我想重申這一點，因爲這是我談論AI在生物學中的變革能力時最常見的誤解：我不是在說AI只是數據分析工具。根據本文開頭對強大AI的定義，我在說的是利用AI來執行、指導和改進生物學家所做的幾乎一切。

更具體地說，我認爲加速可能來自的領域是：生物學的進步中相當大的一部分實際上來自少數幾項重大發現，這些發現往往與廣泛的測量工具或技術有關[^12]，它們允許對生物系統進行精確但通用或可編程的干預。每年大約只有一項這樣的重大發現，但這些發現大致推動了生物學50%以上的進步。它們之所以如此強大，正是因爲它們能夠穿透固有複雜性和數據限制，直接增加我們對生物過程的理解和控制。每隔十年左右出現的少數發現，既奠定了我們對生物學的基本科學理解，也推動了許多最強大的醫療治療方法。

一些示例包括：

我費力列出這些技術的原因是，我想提出一個關鍵主張：如果有更多聰明的、創造性的研究人員，這些技術的發現速度可以增加10倍甚至更多。換句話說，我認爲這些發現的智力回報很高，而生物學和醫學中的其他大多數進展主要都是基於這些發現。

我爲什麼這麼認爲？因爲在我們試圖確定“智力回報”時，我們應該習慣於詢問一些問題。首先，這些發現通常是由極少數研究人員取得的，通常是同一批人反覆取得成功，表明技能比隨機搜索更重要（後者可能表明冗長的實驗是限制因素）。其次，這些發現往往可以“提前”數年完成：例如，CRISPR本質上是細菌免疫系統的組成部分，自80年代以來就爲人所知，但又過了25年，纔有人意識到它可以被重新用於基因編輯。此外，它們通常因缺乏科學界的支持而被延遲多年（見這篇關於mRNA疫苗發明者的報道，類似的故事不勝枚舉）。第三，成功的項目往往是草根性的，或者最初並不被認爲是有前途的副產品，而不是大規模資助的努力。這表明不僅僅是大規模的資源集中推動了發現，更多的是智慧和創造力。

最後，儘管一些發現具有“連鎖依賴性”（你需要先做出發現A，纔能有工具或知識來做出發現B）——這再次可能造成實驗延遲——但很多，甚至可能大多數發現是獨立的，這意味着可以並行進行多個工作。這些事實，再加上我作爲生物學家的總體經驗，強烈表明，如果科學家們更聰明，並且更善於將人類掌握的大量生物學知識聯繫起來，可能有數百個這樣的發現等着被發現（再次參照CRISPR的例子）。AlphaFold和AlphaProteo在解決人類幾十年來精心設計的物理建模問題方面的成功（儘管是在狹窄領域內的狹窄工具），證明了原理，這應該爲未來的發展指明方向。

因此，我的猜測是，強大的AI至少可以將這些發現的速度提高10倍，使我們在未來5到10年內取得相當於50到100年的生物學進展[^14]。爲什麼不可能提高100倍？也許有可能，但在這裡連鎖依賴性和實驗時間變得重要：在一年內取得100年的進展需要很多事情首次正確，包括動物實驗，以及設計顯微鏡或昂貴的實驗室設備。我實際上對這個（或許聽起來荒謬的）想法持開放態度，即我們可以在5到10年內取得相當於1000年的進展，但我對在一年內取得100年的進展持高度懷疑。另一種表達方式是，我認爲存在一個不可避免的常量延遲：實驗和硬件設計有一定的“潛伏期”，需要一定的迭代次數才能學習那些不能通過邏輯推導出來的東西。但在此基礎上，可能存在大規模的並行性[^15]。

那麼臨牀試驗呢？雖然臨牀試驗確實涉及大量的官僚主義和拖延，但事實是，它們的大多數（雖然不是全部）慢速最終歸因於必須嚴格評估那些效果微弱或效果模糊的藥物。遺憾的是，大多數療法今天的情況正是如此：平均癌症藥物可以使生存時間延長几個月，但同時伴有需要仔細測量的顯著副作用（阿爾茨海默症藥物也有類似的故事）。這導致了龐大的研究（爲了實現統計學上的顯著性），並且難以做出折衷選擇，監管機構通常不擅長做這些複雜決策，因爲官僚主義以及利益衝突的複雜性。

當某種療法效果顯著時，審批速度會快得多：有一個加速批准通道，當療法效果更明顯時，審批的難度也會大大降低。COVID-19的mRNA疫苗在9個月內獲批——比通常的速度快得多。儘管如此，即使在這些條件下，臨牀試驗仍然太慢——有人認爲，mRNA疫苗本應在大約兩個月內獲批。但這些延遲（例如藥物從頭到尾1年的開發時間）加上大規模的並行化，並不需要過多的迭代，而只需“一些嘗試”，這些都是在5到10年內實現激變性變革的兼容因素。更樂觀的是，AI輔助的生物科學可能會通過開發更好的動物和細胞實驗模型（甚至模擬）來減少臨牀試驗的迭代需求，這些模型能夠更準確地預測人體會發生的情況。對於開發抗衰老藥物尤爲重要，因爲衰老是一個持續幾十年的過程，我們需要一個更快的迭代循環。

最後，關於臨牀試驗和社會障礙，值得明確指出的是，在某些方面，生物醫學創新在成功部署方面有着異常強大的記錄，這與某些其他技術形成了鮮明對比[^16]。如前所述，許多技術雖然在技術上表現良好，但由於社會因素的限制未能得到有效應用。這可能會讓人對AI的潛力持悲觀態度。但生物醫學領域的獨特之處在於，儘管開發藥物的過程過於繁瑣，但一旦開發出來，它們通常會成功部署並使用。

總結以上內容，我的基本預測是，AI輔助的生物學和醫學將使我們在5到10年內取得相當於人類生物學家在未來50到100年內本應取得的進展。我將這一過程稱爲“壓縮的21世紀”：強大AI問世後，幾年的時間內，我們將在生物學和醫學領域取得相當於整個21世紀的進展。

雖然預測強大的AI能在幾年內完成什麼仍然是非常困難和充滿猜測的，但詢問“如果人類在接下來的100年內不借助AI能做什麼？”卻有一些具體的參考依據。簡單地回顧20世紀我們取得的成就，或從21世紀頭20年的進展進行外推，或者問自己“10個CRISPR和50個CAR-T會帶來什麼？”都可以爲我們提供一些實際且有依據的方式來估算強大AI可能帶來的進展。

以下是我嘗試列出的一些可能實現的預期。這並不是基於任何嚴格的科學方法，而且很可能在細節上會出錯，但它傳達了我們應該對AI進步抱有的那種激進程度：

我們應該回顧一下這份清單，並思考如果所有這些目標在接下來的7到12年內（與積極的AI時間表一致）實現，世界將會變得多麼不同。這毫無疑問將是一場難以想象的人道主義勝利，一次性消除大多數困擾人類幾千年的災難。我的許多朋友和同事正在養育子女，我希望當這些孩子長大後，任何提及疾病的事物對他們而言都像壞血病、天花或黑死病之於我們一樣遙遠。那一代人還將從增加的生物自由和自我表達中受益，並且如果幸運的話，可能還能夠活到他們願意的任何年齡。

這些變化對那些沒有預料到強大AI的人們來說將是多麼令人震驚，實在難以估量。比如，成千上萬的經濟學家和政策專家目前在美國爭論如何保持社會保障和醫療保險的可持續性，更廣泛來說，還討論如何控制醫療成本（主要由70歲以上人羣，尤其是癌症等終末期疾病患者消耗）。如果上述預測成真，那麼這些計劃的狀況將發生根本性的變化，因爲工作年齡人口與退休人口的比例將發生巨大改變。毫無疑問，這些挑戰將被新的挑戰所取代，例如如何確保新技術的廣泛獲取，但反思一下即使只有生物學領域的加速成功，也能讓世界發生多大的變化是非常有意義的。

神經科學與心智

在前一節中，我重點討論了身體疾病和生物學的一般領域，但我並沒有涉及神經科學或心理健康。然而，神經科學是生物學的一個分支，心理健康與身體健康同樣重要。實際上，如果非要區分，心理健康對人類幸福的直接影響甚至比身體健康還要大。成百上千萬的人因成癮、抑鬱、精神分裂症、低功能自閉症、創傷後應激障礙（PTSD）、精神病等問題而生活質量極低。還有數十億人在日常生活中遭受各種問題的困擾，這些問題常常可以看作是這些嚴重臨牀疾病的輕微版本。與普通生物學一樣，神經科學不僅可以解決這些問題，還可以提升人類體驗的基準質量。

我在上一節中提出的基本框架同樣適用於神經科學。這個領域的進展往往依賴於少量關鍵的測量或精確干預工具的發現——在前文中提到的那些技術中，光遺傳學（Optogenetics）就是一種神經科學發現，最近的CLARITY和擴展顯微技術（expansion microscopy）也是沿着相同方向的進步。此外，許多通用的細胞生物學方法可以直接應用於神經科學。我認爲，AI將在神經科學領域加速這些技術的發現，因此“5-10年取得100年進展”的框架同樣適用於神經科學，並且理由與生物學領域相同。正如生物學一樣，20世紀的神經科學取得了巨大進展——例如，直到20世紀50年代我們才明白神經元是如何以及爲何發放信號的。因此，預計AI加速的神經科學能夠在幾年內迅速取得進展是合理的。

我們還需要補充一個額外的方面：過去幾年我們在AI領域學到的一些知識，甚至在神經科學仍由人類主導的情況下，也可能有助於神經科學的進步。可解釋性（interpretability）是一個明顯的例子：雖然生物神經元在表面上與人工神經元的運作方式完全不同（它們通過尖峰（spike）和尖峰頻率（spike rate）進行通信，因此存在人工神經元中沒有的時間元素，同時細胞生理和神經遞質的諸多細節極大地改變了它們的運作），但“簡單單元構成的分佈式、訓練過的網絡如何協同工作以執行重要計算”這個基本問題是相同的，我強烈懷疑，在大多數關於計算和迴路的有趣問題中，個體神經元通信的細節將被抽象掉。例如，AI系統中的可解釋性研究人員發現的一種計算機制最近在小鼠大腦中也被重新發現。

在人工神經網絡上做實驗比在真實神經網絡上容易得多（後者通常需要切割動物的大腦），因此可解釋性可能成爲改進我們對神經科學理解的工具。此外，強大的AI可能比人類更能開發和應用這個工具。

除了可解釋性之外，關於如何訓練智能系統，我們從AI中學到的知識應該（儘管我不確定它是否已經這樣做了）引發神經科學的革命。當我從事神經科學工作時，很多人關注的都是我現在會認爲是“錯誤”的學習問題，因爲當時“規模假設”或“苦澀的教訓”（the scaling hypothesis / bitter lesson）還不存在。簡單的目標函數加上大量數據可以驅動複雜行爲的事實，使得理解目標函數和結構性偏差比理解計算的細節更有趣。我近年來並沒有密切跟蹤這個領域，但我隱約感覺到計算神經科學家可能還沒有完全吸收這一教訓。對我來說，“規模假設”一直是“關於智能如何運作及其爲何如此輕鬆進化的高層解釋”，但我不認爲這是神經科學家的普遍看法，部分原因是AI領域內對於規模假設作爲“智能的秘密”的接受度還不夠高。

我認爲，神經科學家應該試圖將這一基本見解與人類大腦的特殊性結合起來（生物物理限制、進化歷史、拓撲結構、運動和感官輸入輸出的細節），以試圖解決神經科學中的一些關鍵謎題。有些人可能已經在這樣做了，但我懷疑還不夠，我也相信AI神經科學家將能夠更有效地利用這一角度來加速進展。

我預計AI將沿着四條不同的路線加速神經科學的進展，所有這些進展共同努力，能夠治癒精神疾病並提高人類認知功能：

我猜測，這四條進展路線協同作用，和身體疾病一樣，可能會在接下來的100年內治癒或預防大多數精神疾病，即便沒有AI的幫助——因此，在AI的加速下，可能會在5到10年內完成這一目標。具體來說，我猜測可能會發生的情況如下：

在科幻作品中，AI常常與“意識上傳”（mind uploading）相關聯，即捕捉人類大腦的模式和動態，並將其轉化爲軟件。我有意沒有在此討論這一話題，這個話題本身可以寫一篇單獨的文章。簡而言之，我認爲上傳意識在原則上幾乎肯定是可能的，但在實踐中，即使是強大的AI，技術和社會上的挑戰也很大，可能需要更長的時間來實現，因此不太可能在我們討論的5到10年時間範圍內實現。

總結來看，AI加速的神經科學很可能大幅改善精神疾病的治療，甚至可能治癒大多數精神疾病，同時極大拓展人類的“認知與心理自由”，並提升認知和情感能力。這將與上一節中描述的身體健康改善一樣激進。也許外部世界不會有明顯變化，但人類對世界的體驗將變得更美好、更具人性，同時也會提供更多自我實現的機會。我還懷疑，心理健康的改善將有助於緩解許多其他社會問題，包括一些看似政治或經濟問題的現象。

經濟發展與貧困

前兩節討論了開發新技術來治癒疾病並改善人類生活質量。然而，從人道主義的角度來看，一個顯而易見的問題是：“每個人都能獲得這些技術嗎？”

開發出一種治療方法是一回事，但將這種疾病從世界上根除又是另一回事。更廣泛地說，許多現有的醫療干預措施還沒有在全球範圍內得到應用，實際上，許多（非健康類的）技術進步在世界範圍內的普及也存在差距。換句話說，世界上許多地方的生活水平仍然非常貧困：撒哈拉以南非洲的人均GDP約爲2000美元，而美國的人均GDP約爲7.5萬美元。如果AI進一步提高了發達國家的經濟增長和生活質量，卻未能對發展中國家產生類似的幫助，那麼我們應該將其視爲一個巨大的道德失敗，併爲之前兩節所描述的人道主義勝利蒙上陰影。理想情況下，強大的AI不僅應當在發達國家掀起變革，還應當幫助發展中國家縮小與發達國家的差距。

我並不像確信AI能夠發明基本技術那樣確信它能夠解決不平等和促進經濟增長，因爲技術具有明顯的高智力回報（包括繞過複雜性和數據缺乏的能力），而經濟則涉及許多來自人類的限制因素，以及大量固有的複雜性。我對AI是否能解決著名的“社會主義計算問題”[^23] 持懷疑態度，我也不認爲政府會（或應該）將經濟政策交給這樣一個實體，即使它能做到。此外，還有如何說服人們接受有效但可能會被他們懷疑的治療等問題。

發展中國家面臨的挑戰由於公共和私人領域的普遍腐敗而變得更加複雜。腐敗導致了惡性循環：它加劇了貧困，而貧困又滋生更多腐敗。AI驅動的經濟發展計劃需要正視腐敗、脆弱的制度和其他非常人性化的挑戰。

儘管如此，我仍然看到一些樂觀的理由。許多疾病已被根除，許多國家從貧困走向富裕，顯然這些任務的決策展現了高智力回報（儘管受到人類限制和複雜性的影響）。因此，AI很可能能比人類做得更好。也可能有一些針對性干預措施，可以繞過人類的限制，並且AI能夠專注於這些措施。更重要的是，我們必須努力。AI公司和發達國家的政策制定者都必須盡其所能，確保發展中國家不被落下；這是一個重大的道德責任。鑑於此，在這一節中，我將繼續做出樂觀的論述，但請記住，成功並不保證，取決於我們的集體努力。

下面我做一些猜測，描述我認爲在強大的AI問世後5到10年內，發展中國家可能會發生的情況：

全球健康干預的分配

我最爲樂觀的領域之一是將健康干預措施分配到全球各地。歷史上，疾病確實通過自上而下的運動得以根除：天花在20世紀70年代被徹底消滅，脊髓灰質炎和幾內亞蟲病幾乎被根除，每年只有不到100例病例。複雜的流行病學模型在疾病根除運動中發揮了積極作用，而AI系統比人類做得更好似乎是很有可能的。物流分配問題也可以大大優化。我作爲GiveWell的早期捐贈者學到的一點是，某些健康慈善組織的效果遠遠好於其他組織；希望AI加速的努力能做得更有效。此外，某些生物技術進步實際上使分配的物流更簡單：例如，瘧疾一直難以根除，因爲每次感染該病都需要治療；但一種只需接種一次的疫苗將使物流更簡單（而此類瘧疾疫苗目前正在開發中）。甚至更簡單的分配機制也是可能的：原則上，一些疾病可以通過針對其動物宿主進行干預來根除。例如，釋放攜帶某種細菌的蚊子，這種細菌阻止它們攜帶疾病（這些蚊子隨後會感染其他蚊子），或者簡單地使用基因驅動技術消滅蚊子。這隻需要一兩次集中行動，而不是必須對數百萬人進行協調的運動。總的來說，我認爲5到10年是一個合理的時間線，用來讓一部分AI驅動的健康益處傳播到全球最貧困的國家。一個不錯的目標可能是在強大的AI問世5到10年後，發展中國家至少要比今天的發達國家更健康，儘管它可能仍然落後於發達國家。實現這一目標當然需要在全球健康、慈善事業、政治倡導和許多其他方面進行巨大的努力，AI開發者和政策制定者應該共同努力。

經濟增長

發展中國家能否快速趕上發達國家，不僅僅是在健康領域，還包括經濟上的全面發展？對此有一些先例：在20世紀的最後幾十年，幾個東亞經濟體實現了持續10%的年均實際GDP增長率，使它們趕上了發達國家。這些成功是由人類經濟規劃者做出的決策推動的，他們不是通過直接控制整個經濟，而是通過拉動一些關鍵的政策槓桿（例如以出口爲導向的增長工業政策，抵制依賴自然資源財富的誘惑）；如果有AI財政部長和央行行長，有可能複製或超過這一10%的成就。一個重要問題是如何在尊重自決權的前提下，推動發展中國家政府接受它們——有些國家可能會熱情擁抱它們，但其他國家可能會持懷疑態度。樂觀的一面是，前文提到的許多健康干預措施可能會自然而然地推動經濟增長：消滅艾滋病/瘧疾/寄生蟲病將對生產力產生變革性影響，更不用說某些神經科學干預措施（如改善情緒和專注力）將在發達國家和發展中國家同樣產生的經濟效益了。最後，非健康領域的AI加速技術（例如能源技術、運輸無人機、改進的建築材料、更好的物流和分配等）可能會自然而然地滲透到全球各地。例如，即使沒有慈善努力，手機也通過市場機制迅速在撒哈拉以南非洲普及。負面的一面是，儘管AI和自動化有許多潛在好處，但它們也給經濟發展帶來了挑戰，尤其是對於尚未實現工業化的國家。在自動化日益普及的時代，確保這些國家能夠繼續發展和改善經濟是經濟學家和政策制定者需要解決的一個重要問題。總體而言，一個理想的場景——或許是一個值得追求的目標——是發展中國家實現20%的年GDP增長率，其中10%來自AI支持的經濟決策，另外10%來自AI加速技術的自然傳播，包括但不限於健康。如果實現了這一目標，這將使撒哈拉以南非洲在5到10年內達到中國當前的人均GDP水平，同時使其他發展中國家的人均GDP超過當前的美國水平。當然，這是一個理想場景，不是默認發生的事情：這是我們大家必須共同努力爭取的。

糧食安全

20世紀通過更好的肥料和殺蟲劑、更多的自動化和更高效的土地利用大幅提高了作物產量，拯救了數百萬人免於飢餓。基因工程目前正在進一步改良許多作物。找到更多方式來改進作物技術以及提高農業供應鏈的效率，可以爲我們帶來一個AI驅動的第二次綠色革命，幫助縮小發展中國家與發達國家的差距。

減緩氣候變化

氣候變化將在發展中國家感受得更爲強烈，並且會阻礙其發展。我們可以預計，AI將促進技術進步，從而減緩或防止氣候變化，包括大氣碳移除、清潔能源技術以及減少對碳密集型工廠化農業依賴的實驗室培育肉類。當然，正如前文所述，技術並不是阻礙氣候變化進展的唯一因素——與所有討論過的問題一樣，人類的社會因素也很重要。但有充分的理由相信，AI增強的研究將爲我們提供減緩氣候變化所需的手段，使這一過程的成本和破壞性大大降低，從而消除許多反對意見，並使發展中國家得以實現更多經濟進步。

國家內部的不平等

我主要討論的是全球不平等現象（我確實認爲這是不平等最重要的表現形式），但國家內部當然也存在不平等現象。隨着先進健康干預措施的普及，尤其是預期壽命急劇延長或認知增強藥物的使用，毫無疑問，人們會擔心這些技術“只爲富人服務”。然而，我對國內不平等問題，尤其是在發達國家，持更樂觀態度，原因有二。首先，發達國家的市場運作更好，市場通常能夠隨着時間的推移降低高價值技術的成本[^25]。其次，發達國家的政治制度對公民的迴應更靈敏，並且在執行全民接入計劃上有更強的國家能力——我預計公民們會要求獲得那些能夠如此顯著改善生活質量的技術。當然，不能預先假定這些需求會成功——在這裡，我們也必須共同努力，確保一個公平的社會存在。在不平等的財富分配問題上（而不是不平等的獲取救命和提升生活質量的技術），這個問題似乎更加棘手，我將在第5節中討論這個問題。

選擇退出的問題

在發達國家和發展中國家，人們選擇放棄AI支持的技術（類似於反疫苗運動或更普遍的反科技運動）可能會導致人們擔心產生一種不良反饋循環。例如，最難做出好決策的人選擇放棄那些能夠提升決策能力的技術，從而導致差距不斷擴大，甚至產生一個反烏托邦式的下層階級（一些研究人員認爲這將削弱民主，我將在下一節進一步討論這一話題）。如果AI的積極進步確實造成這種情況，這將再次給人道主義的勝利蒙上陰影。解決這一問題很難，因爲我認爲不可以強迫人們接受某些技術，但我們至少可以努力提高人們的科學理解——或許AI本身可以幫助我們做到這一點。一個值得期待的積極信號是，歷史上的反技術運動通常是雷聲大雨點小：雖然反對現代技術的聲音很大，但大多數人最終還是會採用它，至少當涉及到個人選擇時。個體往往採用大多數健康和消費技術，而真正受阻的技術，如核能，通常是集體的政治決策。

總體而言，我對迅速將AI的生物學進步帶到發展中國家感到樂觀。我對AI是否能推動前所未有的經濟增長並使發展中國家至少超越發達國家目前的發展水平抱有希望，儘管沒有十足的信心。我擔心“選擇退出”問題在發達國家和發展中國家都會出現，但我認爲這一問題最終會消退，並且AI可以幫助加速這個過程。這個世界不會是一個完美的世界，落後的人可能在前幾年內不會完全趕上發達國家。但如果我們做出足夠努力，我們可以使事情朝着正確的方向發展——並且速度很快。如果我們這樣做，我們將能夠兌現給予每一個地球人的尊嚴和平等承諾的首付款。

和平與治理

假設前三節中的一切都進展順利：疾病、貧困和不平等得到了顯著的緩解，人類的基本生活水平得到了顯著提升。但這並不意味着所有導致人類痛苦的主要原因都已解決。人類之間的威脅仍然存在。儘管技術進步和經濟發展總體上傾向於促進民主與和平，但這只是一個非常鬆散的趨勢，並且常常會出現反覆倒退。在20世紀初，人們曾以爲戰爭已經遠去，然而兩次世界大戰隨之而來。30年前，弗朗西斯·福山（Francis Fukuyama）撰寫了《歷史的終結》，預言自由民主的最終勝利，但這一預測至今尚未實現。20年前，美國的政策制定者相信與中國的自由貿易會隨着經濟的增長促使其自由化，然而事實並非如此，我們現在似乎正在步入第二次冷戰，與重新崛起的威權主義陣營對峙。更有理論表明，互聯網技術實際上可能更有利於威權主義，而不是人們最初在“阿拉伯之春”時期所相信的那樣促進民主。因此，重要的是我們要努力理解強大的AI與這些關於和平、民主和自由的問題之間的關係。

不幸的是，我並沒有強有力的理由相信AI會優先或系統性地推動民主與和平，正如我相信AI會系統性地推動人類健康和減輕貧困那樣。人類的衝突是對抗性的，原則上，AI可以幫助“好人”也可以幫助“壞人”。事實上，有些結構性因素令人擔憂：AI可能會促進更好的宣傳和監控，而這些正是獨裁者的兩大工具。因此，問題的關鍵在於，我們作爲個體行動者，必須盡力將事情引向正確的方向：如果我們希望AI支持民主和個人權利，我們必須爲這一結果而奮鬥。我對此的感覺甚至比國際不平等問題更加強烈：自由民主的勝利和政治穩定並非板上釘釘，甚至可能不太可能，它需要我們像過去一樣做出巨大的犧牲和承諾。

我將問題分爲兩個部分：國際衝突和國家內部的治理結構。在國際方面，確保當強大的AI問世時，民主國家在全球舞臺上佔據主導地位似乎至關重要。AI支持的威權主義前景過於可怕，令人不敢想象。因此，民主國家必須能夠主導強大AI的推出方式，既要防止被威權國家超越，又要避免在威權國家內發生侵犯人權的行爲。

我目前的猜測是，通過“協約策略”[^26]，民主國家之間結成聯盟，尋求在強大AI上獲得明確的優勢（即使只是暫時的），是實現這一目標的最佳途徑。這個聯盟應當確保其供應鏈安全，迅速擴大規模，並阻止或延遲對手獲取關鍵資源，如芯片和半導體設備。這個聯盟一方面通過AI獲得穩固的軍事優勢（“大棒”），同時提供強大AI帶來的益處（“胡蘿蔔”）給越來越多的國家，以換取他們支持聯盟的民主促進戰略（這有點類似於“和平原子”計劃）。該聯盟的目標是贏得越來越多的國家支持，將我們的最糟糕的對手孤立起來，最終使他們處於一種位置：他們最好與世界其他國家一樣，放棄與民主國家的競爭，以便享有所有的益處，並避免與實力更強的對手交戰。

如果我們能夠做到這一點，我們將生活在一個由民主國家主導的世界中，它們擁有足夠的經濟和軍事力量，避免被威權主義國家顛覆、征服或破壞，並可能將它們的AI優勢轉化爲持久的優勢。樂觀地看，這可能導致一個類似“永恆的1991年”——一個民主國家佔據上風的世界，福山所預言的夢幻世界得以實現。再強調一次，這將非常困難，特別是需要私人AI公司與民主政府之間的密切合作，以及在胡蘿蔔與大棒之間做出極爲明智的決策。

即便這一切進展順利，也仍然存在民主與威權主義在各國內部的鬥爭問題。對此我們無法做出精確預測，但我確實對以下幾個方面持有一定的樂觀態度：如果全球環境是由民主國家主導強大AI的發展，那麼AI可能在結構上有利於全球範圍內的民主。特別是在這種環境下，民主國家可以利用其優越的AI贏得信息戰：它們能夠反擊威權國家的影響力與宣傳行動，甚至可能通過提供全球自由的信息環境，提供無法被威權國家技術封鎖或監控的AI服務。可能並不需要發佈宣傳，只需對惡意攻擊進行反擊，並解除信息流通的封鎖。在這種環境下，全球治理有可能逐步向民主方向傾斜，原因有如下幾個：

首先，生活質量的提高（前文第1至第3節提到的改進）通常會促進民主：歷史上，在某種程度上確實如此。特別是，我預計心理健康、福祉和教育的改善將提高對民主的支持，因爲這三者與支持威權領導人的情感負相關。總的來說，當人們的其他需求得到滿足時，他們更希望獲得自我表達的權利，而民主在某種程度上也是一種自我表達的形式。相反，威權主義依賴於恐懼和怨恨。

其次，只要威權國家無法審查自由信息，自由信息確實有很大的機會削弱威權主義。而且，未被審查的AI還可以爲個人提供有力的工具，幫助他們削弱壓制性政府。壓制性政府通過拒絕某種形式的共同知識得以生存，阻止人們意識到“皇帝沒有穿衣服”的事實。例如，斯爾扎·波波維奇（Srđa Popović）幫助推翻了米洛舍維奇政府，他廣泛撰寫了關於如何在心理上剝奪威權者權力的技術，以打破他們的神話並聚集支持者反對獨裁者。如果每個人口袋裡都有一個超級有效的AI版波波維奇（他的技能似乎具有極高的智力回報），而獨裁者又無力封鎖或審查它，這將爲全球範圍內的異見人士和改革者提供巨大的推動力。再重申一遍，這將是一場漫長而艱苦的鬥爭，勝利並非唾手可得，但如果我們設計和構建AI的方式正確，它至少可能是一場自由倡導者佔據優勢的戰鬥。

如同神經科學和生物學，我們還可以問，事情是否可能“超出正常情況”，不僅僅是如何避免威權主義，還可以如何使現有的民主制度更好。即使在民主國家，諸多不公仍然時有發生。法治社會向公民承諾每個人都將在法律面前平等，每個人都應享有基本人權，但顯然，這些權利並不總是在實踐中得到保障。這一承諾的部分實現已經是一件值得驕傲的事情，但AI能否幫助我們做得更好？

例如，AI能否通過更加公正的決策和流程改進我們的法律和司法系統？目前人們在法律或司法背景中最擔心的是AI系統會導致歧視，這些擔憂是重要的，且需要加以防範。但與此同時，民主的活力取決於是否能夠利用新技術改善民主制度，而不僅僅是應對風險。真正成熟和成功的AI實施有潛力減少偏見，使系統對每個人都更加公平。

幾個世紀以來，法律制度面臨的兩難困境是：法律的目標是公正的，但它本質上是主觀的，因此必須由存在偏見的人類進行解釋。試圖使法律完全機械化是行不通的，因爲現實世界是複雜的，不能總是被數學公式所捕捉。因此，法律制度依賴於臭名昭著的模糊標準，如“殘忍和不尋常的懲罰”或“毫無 redeeming社會意義”，然後由人類解釋——但這些解釋往往表現出偏見、偏袒或隨意性。加密貨幣中的“智能合約”未能徹底改變法律，因爲普通代碼還不夠聰明，無法裁決很多具有實際意義的事物。但AI可能夠聰明：它是第一個能夠廣泛做出模糊判斷，並以可重複且機械的方式處理複雜現實世界的技術。

我並不是在建議我們用AI系統取代法官，但將公正性與理解和處理複雜現實世界情況的能力相結合，似乎應該在法律和司法領域有一些重要的積極應用。至少，這樣的系統可以與人類一起工作，作爲決策的輔助工具。透明性在任何這樣的系統中都至關重要，成熟的AI科學可能會提供這種透明性：這些系統的訓練過程可以被廣泛研究，並可以通過先進的可解釋性技術查看模型內部，以評估其是否存在隱藏的偏見，這些是我們無法在對人類進行評估時做到的。此類AI工具還可以用於監控司法或警察背景下是否存在基本權利的侵犯，使憲法的自我執行性更強。

類似地，AI可以用於彙集公民的意見並推動共識，解決衝突、尋找共同點、尋求妥協。計算民主項目已經在這一方向進行了一些早期探索，包括與Anthropic的合作。一個更有見識和深思熟慮的公民羣體顯然將加強民主制度。

還有一個明確的機會是，AI可以用於幫助提供政府服務——例如，理論上每個人都可以享有的但實際上往往嚴重缺乏的社會服務，且在某些地方比其他地方更糟。這包括醫療服務、車管所（DMV）、稅務、社會保障、建築規範執行等。擁有一個非常體貼且信息豐富的AI，其工作是確保你獲得政府按法律規定你應得的一切，並且以你能理解的方式解釋，同時還幫助你遵守通常讓人困惑的政府規定，這將是一件大事。提高國家能力不僅有助於實現法律面前人人平等的承諾，還加強了對民主政府的尊重。糟糕的服務實施目前是造成政府冷漠情緒的一個主要原因[^27]。

所有這些想法都多少有些模糊，正如我在本節開頭所說，我對它們的可行性遠不如對生物學、神經科學和扶貧的進步抱有信心。這些想法可能過於烏托邦式的理想化。但重要的是擁有一個雄心勃勃的願景，願意敢於夢想並嘗試新的事物。AI作爲自由、個人權利和平等法治的捍衛者這一願景過於強大，不容忽視。一個21世紀AI支持的政體既可以是更強大的個人自由捍衛者，也可以是全球範圍內希望自由民主成爲普遍治理形式的希望燈塔。

工作與意義

即使前面四節中的所有目標都實現了——不僅我們消除了疾病、貧困和不平等，甚至自由民主也成爲了主導的政府形式，並且現有的自由民主國家變得更好——至少還會有一個重要問題留存。“我們的世界雖然技術先進、充滿公正與體面的氛圍，”有人可能會反駁道，“但在AI無處不在的時代，人類如何找到意義？更不用說他們如何在經濟上生存？”

我認爲這個問題比前面提到的其他問題更加複雜。我並不是說我對這個問題比其他問題更悲觀（儘管我確實看到一些挑戰），而是說這個問題更加模糊，難以提前預測，因爲它涉及如何組織社會的宏觀問題，而這些問題往往只有隨着時間的推移，通過去中心化的方式自行解決。例如，歷史上的狩獵採集社會可能會認爲，生活在沒有狩獵及其相關宗教儀式的環境中是沒有意義的，可能認爲我們機械化社會中的富裕生活缺乏目的感。他們可能也無法理解我們的經濟如何養活每個人，或人們在機械化社會中能有什麼用處。

儘管如此，仍然值得對此發表一些見解，儘管這些見解是有限的。請注意，這部分篇幅較短，並不意味着我不重視這些問題——相反，這反映了我在這些問題上缺乏明確的答案。

關於“意義”問題，我認爲僅僅因爲AI能比你更好地完成任務就認爲你的工作沒有意義，這是一個嚴重的錯誤。大多數人並不是世界上最優秀的某個領域的專家，但這並不會對他們造成特別大的困擾。當然，今天人們可以通過比較優勢繼續做出貢獻，並從自己創造的經濟價值中獲得意義感，但人們也同樣熱衷於從不產生經濟價值的活動中找到樂趣。我花大量時間玩電子遊戲、游泳、在外面散步、與朋友交談，這些都不產生任何經濟價值。我可能會花一整天的時間試圖提高遊戲水平，或者在騎自行車上山時提高速度，而事實上，這些任務中總有人比我做得更好，但這並不會真正影響我。我認爲意義更多來自於人際關係和人與人之間的連接，而非經濟勞動。人們確實需要成就感，甚至競爭感，而在後AI時代，人們完全可以花數年時間去嘗試一些非常困難的任務，並採用複雜的策略，類似於今天人們投入研究項目、試圖成爲好萊塢演員或創辦公司的過程。這些任務中存在的兩個事實——(a) AI在某處可以做得更好，(b) 這些任務不再是全球經濟體系中被經濟回報激勵的內容——我認爲對大多數人來說影響不大。

經濟問題實際上比“意義問題”更困難。在本節中，我所說的“經濟問題”是指大多數或所有人類可能無法在AI驅動的高度發達經濟中作出有意義貢獻的潛在問題。這比第3節中討論的不平等問題更爲宏觀，尤其是關於獲取新技術的不平等問題。

首先，在短期內，我同意比較優勢的邏輯：人類將繼續在勞動中保持相關性，事實上，他們的生產力可能會因此大幅提高，甚至在某些方面使人與人之間的差距縮小。只要AI在某個任務中只比人類好90%，其餘的10%就會讓人類具有更高的槓桿作用，提高薪酬，事實上也會創造出許多新的與AI互補的人類工作崗位，使這“10%”得以擴大，繼續僱傭幾乎所有人。事實上，即便AI能夠在100%的任務上優於人類，但如果AI在某些任務上效率較低或成本較高，或者人類和AI所需的資源輸入存在顯著差異，那麼比較優勢的邏輯仍然適用。一個領域中，人類可能會在相當長的時間內保持相對（甚至絕對）的優勢，那就是物理世界。因此，我認爲即便在我們達到“數據中心中的天才之國”之後的某個節點，人類經濟仍然有可能繼續正常運作。

然而，我確實認爲，從長遠來看，AI將變得如此廣泛且成本如此低廉，以至於比較優勢將不再適用。到了這個時候，我們當前的經濟結構將不再合理，需要進行更廣泛的社會討論，討論經濟應該如何組織。

雖然這聽起來可能很瘋狂，但事實上，人類文明已經成功應對了幾次重大經濟變革：從狩獵採集轉向農業，從農業轉向封建主義，從封建主義轉向工業化。我懷疑我們需要一種新的、甚至更加陌生的經濟模式，而今天沒有人能很好地預見它。這可能簡單到大規模的全民基本收入，儘管我懷疑這隻會是解決方案的一部分。也可能是一個由AI系統主導的資本主義經濟，這些AI系統會將資源（會有大量資源，因爲整體經濟規模將極其龐大）分配給人類，基於某種最終源自人類價值觀的判斷標準。也許，經濟會基於Whuffie分數（一種基於聲譽的虛擬貨幣）。或者，也許人類在某種尚未被現有經濟模型預測的方式中依然會保持經濟價值。所有這些解決方案都有大量潛在問題，在沒有經過大量迭代和實驗之前，無法確定它們是否合理。正如其他挑戰一樣，我們可能需要努力爭取一個好的結果：顯然，剝削性或反烏托邦的方向也是可能的，必須加以防範。關於這些問題的討論還可以寫很多內容，我希望在未來某個時候能對此進行更詳細的探討。

總結

在上面討論的多個主題中，我試圖描繪出一個世界的願景：如果一切順利，強大的AI將帶來一個比當今世界更加美好的未來。我不知道這個世界是否現實可行，即使可行，若要實現，也將需要無數勇敢且有奉獻精神的人付出巨大努力。每個人（包括AI公司）都需要盡其所能，既要防範風險，也要充分實現這些潛在益處。

但這是一個值得爲之奮鬥的世界。如果這一切真的在5到10年內發生——大多數疾病被消除，生物和認知自由得到增長，數十億人擺脫貧困，共享新技術，自由民主和人權的復興——我懷疑每個人都會爲這場變革的影響感到驚訝。我並不是指個人享受新技術帶來的好處，儘管這無疑會令人驚歎。我是指看到一個長期持有的理想一瞬間在我們面前成真，這一過程會讓許多人感動至深。

在撰寫這篇文章的過程中，我注意到了一種有趣的矛盾。從某種意義上說，這裡描繪的願景極具激進性：幾乎沒有人預料到這些事情會在未來十年內發生，許多人可能會認爲這是荒謬的幻想。也許有些人甚至不認爲這是一個值得追求的願景；它體現了不爲所有人所接受的價值觀和政治選擇。但與此同時，某種顯而易見、理所當然的感覺也貫穿其中——許多不同的試圖設想美好世界的努力最終不可避免地通向這裡。

在伊恩·M·班克斯（Iain M. Banks）的《遊戲玩家》[^29]中，主人公（來自一個被稱爲“文化”的社會，其原則與我在此描述的類似）前往一個壓迫性的、軍事化的帝國，帝國的領導者通過在一場複雜的對戰遊戲中競爭產生。然而，這場遊戲足夠複雜，玩家的策略往往反映了他們自身的政治和哲學觀念。主人公擊敗了皇帝，展示了他的價值觀（“文化”的價值觀）即使在一個由殘酷競爭和適者生存原則設計的遊戲中，也是一個制勝策略。Scott Alexander的一篇著名博文也有同樣的觀點——即競爭自我毀滅，最終導致了基於同情心和合作的社會。另一類似概念是“道德宇宙的弧線”。

我認爲，“文化”的價值觀之所以是一種制勝策略，是因爲它們匯聚了無數個清晰的道德力量所促成的決定，這些決定共同將每個人拉到同一邊。人類的基本直覺，如公平、合作、好奇心和自主性，很難與之爭論，並且它們具有累積效應，往往會勝過我們的破壞性衝動。很容易說服人們認爲，如果我們可以預防，兒童不應該死於疾病；從這一點出發，再進而說所有兒童應享有同樣的權利也並不難。再從這裡出發，我們可以順理成章地認爲，大家應該團結起來，運用我們的智慧來實現這一結果。很少有人會反對這樣一個觀點：人們不應該毫無必要地攻擊或傷害他人，並且從這一點推導出懲罰應該對所有人一致且系統化的想法也並不困難。同樣，自主權和對自己生活的選擇權也是人們的直覺追求。這些簡單的直覺，如果被推至邏輯上的終極，將最終導向法治、民主和啓蒙價值觀。即便這一過程並非必然，至少作爲一種統計趨勢，人類已經朝這個方向前進。AI只不過是提供了加速這一過程的機會，使得邏輯更加清晰，目的地更加明確。

儘管如此，這仍是一件充滿超凡之美的事情。我們有機會在這一偉大的變革中扮演某個小角色，使它成爲現實。

感謝Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe以及Anthropic團隊的許多人對本文草稿的審閱。

致2024年諾貝爾化學獎的獲獎者，感謝你們爲我們指明瞭方向。