東灣人工智能安全專家：暢談技術未來

2月21日——去年，當加州州長加文·紐瑟姆否決了SB 1047（一項規範人工智能技術的州法案）時，紅木研究公司首席執行官巴克·施萊格里斯對州長無視人工智能的危險感到憤怒和驚愕。

“我認爲紐瑟姆以一種相當可恥的方式屈從於他的大捐贈者和其他商業支持者的利益，”施萊格里斯說。“大多數接受民意調查的加州民衆都支持SB 1047。大多數專家也支持該法案。”

總部位於伯克利的紅木研究公司是一家專注於降低人工智能風險的諮詢公司，希望其研究成果能在灣區的衆多人工智能公司中得到應用。雖然施萊格里斯認爲人工智能是一種似乎具有無限能力的技術，但他也相信它可能存在生存性危險。

施萊格里斯希望紅木研究公司能在他最擔心的情況成爲現實之前，在谷歌深思維和Anthropic等公司取得進展。

問：你如何描述人工智能的潛力？

答：我認爲人工智能有潛力成爲一種真正具有變革性的技術，甚至比電力更具變革性。電力是經濟學家所說的通用技術，你可以將其應用於大量不同的事物。比如，一旦你有了電力設施，它基本上會影響到每一份工作，因爲電力是一種非常便捷的傳輸能量的方式。同樣，我認爲如果人工智能公司成功構建出能夠取代人類智慧的人工智能，這將對世界產生巨大的變革。

世界經濟逐年增長，世界也變得越來越富有。世界每年都在變得更具技術性、技術更先進，而且基本上一直都是如此。在工業革命時期前後有所增長。自那以後，大多情況下發展速度變得更快了。經濟增長速度很大程度上受限於能開展多少腦力勞動、能發明多少科學技術以及組織能多高效地運轉。目前，這受到人口的限制。但是，如果我們能夠利用計算機進行思考，那麼我們很可能會非常迅速地實現技術的大幅加速發展。這可能會帶來非常好的結果，但我認爲也會帶來極大的風險。

問：這些風險是什麼？人工智能最壞的情況是什麼？

答：我不想真的去談論最壞的情況。但我認爲，那些目標與人類根本相悖的人工智能，變得足夠強大以至於它們基本上能夠奪取世界的控制權，然後在爲了自己的目的利用世界的過程中殺光所有人……我認爲這是一種可能的結果。

問：這確實很可怕。

答：我覺得建造巨型機器人大軍這種情況是可以想象的，最初是由一些國家建造的，原因很明顯，比如，它們在戰爭中會非常有用。但是後來，那些自主想要建造機器人大軍的人工智能會擴充這些軍隊，它們會自主購買，並且自主建造工廠，然後反過來殺光所有人。

問：那麼我們說的是1%的可能性嗎？

答：不止1%。我認爲另一個糟糕的結果也是可以想象的，即某個來自人工智能公司的人奪取世界的控制權並自封爲世界皇帝。

問：再回到舊金山灣區特有的人工智能產業：舊金山似乎是科技領域新興巨頭的溫牀，而伯克利和奧克蘭似乎更像是研究和人工智能安全衛士的中心。這些不同的羣體在舊金山灣區是如何發展起來的呢？

這在很大程度上是歷史的偶然。比如說，伯克利長期存在一個人工智能安全社區，基本上就是這樣，沒什麼特別的原因。機器智能研究所（MIRI），過去在這個領域舉足輕重，自2007年左右就位於伯克利。然後我認爲就是有很多人，就像，一個有核心凝聚力的社區。我認識很多在MIRI工作的人。我自己過去也在那裡工作，他們在伯克利，所以我最終爲他們工作，於是我搬到了伯克利。換個說法就是，伯克利長期以來都是理性主義者社區的一箇中心。我想你提到的很多對人工智能安全研究感興趣的人都和這個理性主義者社區有關聯。

問：我很高興看到一種歷史聯繫，它解釋了社區是如何發展起來的，即使是像人工智能這樣只有30多年曆史的技術。

答：舊金山的情況出現在舊金山主要是因爲那裡歷來是風險投資創業公司的所在地。伯克利和奧克蘭沒有很多大型科技公司。

問：硅谷在這種人工智能的分化中起到了什麼作用呢？

答：如果我大致描述一下，大型硅谷公司——我指的是谷歌、蘋果和元（Meta）——他們看待事物的方式是“鑑於我們擁有大量的技術人才和資本資源，我們將如何賺取鉅額利潤？”以我的經驗，這些公司只是試圖追求人工智能能力，因爲他們認爲這對他們開發好的產品會有幫助。Meta公司裡很多搞人工智能的人都是最近才涉足這個領域的。但是創立Open A.I.和Anthropic的人是真正的信徒，他們在Chat GPT出現之前，在還看不出這在近期會成爲一件大事之前就涉足這個領域了。所以你確實能看到區別，Open A.I.和Anthropic的人員更加理想主義。山姆·奧特曼（Sam Altman）十多年來一直在互聯網上就人工智能發表非常極端的言論。元（Meta）的人員就遠非如此。

問：你認爲這些人工智能公司製造的炒作是過度的——還是他們低估了它呢？

A：我認爲很多人，尤其是科技記者，當聽到人工智能領域的人談論他們認爲人工智能可能有多強大時，往往會有點憤世嫉俗。但我擔心這種本能反應在這裡用錯了地方。我認爲人工智能領域的人並沒有過度炒作他們的技術。我的感覺是，大型人工智能公司如果說有什麼（問題）的話，也是對他們實際正在構建的東西宣傳不足，因爲如果如實宣傳聽起來會非常不負責任。我認爲他們有時會談到他們認爲自己的技術將產生多麼重大的影響，允許私營企業開發這種技術，這聽起來很瘋狂。我敢打賭，如果你到這些公司去，你會聽到他們說出比公開言論瘋狂得多的話。

巴克·施萊格里斯簡介

頭銜：紅木研究公司首席執行官

年齡：30歲

教育背景：澳大利亞國立大學計算機科學學士學位

居住地：加利福尼亞州伯克利

關於巴克·施萊格里斯需要了解的5件事

1. 他曾在伯克利的機器智能研究所工作，在那裡他協助研究人工智能安全理論。

2. 他是舊金山應用學院的一名助教，他計劃將自己做編程工作掙的錢用於捐贈給改善未來的慈善機構。

3. 施萊格里斯來自澳大利亞，10年前移民到美國。

4. 他是一名擅長多種樂器演奏的音樂家，擅長吉他、貝斯和薩克斯風。

5. 在澳大利亞國立大學學習期間，他輔導學生Python、Javascript和Haskell等編程代碼。

原發布時間：太平洋標準時間2025年2月21日上午8:00