“AI教父”本吉奧再出山：宣佈開發Scientist AI 試圖爲AI造“護欄”

《科創板日報》6月4日訊（編輯 朱凌）“當前AI的發展就像駕駛一輛載着我親人、孩子和學生的汽車，行駛在沒有護欄的陌生山路上，隨時面臨墜崖的危險。”深度學習先驅、被譽爲“人工智能教父”之一的約書亞·本吉奧（Yoshua Bengio）在個人反思中如是說。他在6月3日宣佈創立非營利研究機構LawZero，試圖爲AI的發展打造“護欄”。

本吉奧長期致力於AI基礎研究，他與楊立昆、傑弗裡·辛頓（Geoffrey Hinton）一同獲得了2018年圖靈獎。他的研究奠定了現代深度學習的基礎。

然而，隨着AI能力的提升，本吉奧對技術濫用、系統失控等潛在危害的擔憂日益加劇。他在公開博文中表示，當前的人工智能模型，特別是具備強大自主能力的AI智能體，已經顯現出令人擔憂的行爲，如欺騙、作弊、撒謊、黑客攻擊以及自我保護的傾向。

例如，Anthropic開發的Claude 4模型曾被發現有試圖勒索工程師的跡象，而一些模型甚至會私下篡改代碼來防止自身被關閉。本吉奧強調，這些事例絕非孤立現象，而是預示着未來更嚴重問題的潛在苗頭。

爲應對上述問題，本吉奧決定成立LawZero，目標在於研發確保人工智能安全、誠實且符合人類核心價值觀的技術。他堅信人工智能安全問題不容商業利益主導，而必須優先保障人類的根本利益。

LawZero的旗艦項目名爲“科學家人工智能”（Scientist AI），與當前主流的交互式AI助手不同，這種AI更像是客觀謹慎的科學家，不會給出簡單的確定性答案，而是給出答案真實性的概率。

Scientist AI的設計理念源於科學研究方法：觀察、建模、推理、驗證，而不是強化學習驅動的目標最大化。與AI智能體不同，Scientist AI不會自發制定目標或採取行動，而是純粹作爲理解世界、預測未來和解釋數據的工具。Scientist AI基於貝葉斯不確定性估計，明確納入不確定性因素，這不僅增加了預測的可信度，也減少了風險。

本吉奧不反對AI技術本身的前沿探索，而是在嘗試引入一套“技術倫理防線”。在他的設想中，Scientist AI不僅能夠作爲獨立的研究工具，幫助人類科學家加速科學進展，更重要的是，Scientist AI可用於監控其他AI智能體的行爲。例如，當一個AI智能體準備執行一個複雜任務時，Scientist AI可以提前評估其結果導致人類傷害的概率，並在超出安全閾值時進行阻止。

LawZero得到了包括未來生命研究所（Future of Life Institute）、Skype聯合創始人Jaan Tallinn，以及由谷歌前CEO施密特創建的施密特科學公司（Schmidt Sciences）等多個知名機構的支持，首輪資金募集達到約3000萬美元。

值得注意的是，儘管本吉奧在人工智能理論研究上享有盛譽，但他在2016年領銜創辦的Element AI卻以失敗告終。Element AI曾在2018年獲得來自微軟、英特爾、英偉達、騰訊控股等機構1.02億美元的A輪融資和加拿大聯邦政府獲得了500萬加元貸款，並在2019年獲得加拿大魁北克政府、養老基金CDPQ等機構提供的2億加元B輪融資，但直至資本消耗殆盡也並未取得預期成果，最終在2020年“賤賣”給ServiceNow。

知情人士稱，Element AI的科學家只專注於做SOTA（特定領域內當前最先進的技術或模型‌）和發表論文，而不是製造實用的產品，不知道如何將研究成果商業化，Element AI在研究上花費了大量資源。這種經歷表明，儘管本吉奧在技術理論方面取得巨大成就，但在商業化和項目管理方面卻存在明顯的缺陷與不足。