微軟AI高管稱研究AI意識問題是“危險的”

AI模型能夠以文本、音頻和視頻形式迴應用戶，有時甚至讓人們誤以爲背後有真人在操作，但這並不意味着它們具有意識。畢竟ChatGPT在處理我的稅務申報時不會感到悲傷...對吧？

不過，越來越多的AI研究人員，包括來自Anthropic等實驗室的學者們，正在探討一個問題：AI模型何時（如果真的會發生的話）可能發展出類似生物的主觀體驗？如果它們真的具備了這種能力，應該享有什麼權利？

關於AI模型是否可能具有意識並應該享有權利的辯論正在分化硅谷的技術領袖們。在硅谷，這個新興領域被稱爲"AI福利"，如果你覺得這有點不切實際，那你並不孤單。

微軟AI首席執行官Mustafa Suleyman在週二發表的博文中認爲，研究AI福利既"過於超前，也相當危險"。

Suleyman表示，通過增加AI模型可能具有意識這一觀點的可信度，這些研究人員正在加劇人類問題，我們已經開始看到一些由AI引起的精神問題和對AI聊天機器人的不健康依賴。

此外，微軟AI負責人還認爲，AI福利話題在一個"已經因身份和權利問題而充滿兩極化爭論的世界"中，創造了關於AI權利的新分歧軸線。

Suleyman的觀點聽起來可能很合理，但他與業內許多人的看法不同。在光譜的另一端是Anthropic，該公司一直在招聘研究人員研究AI福利，最近還圍繞這一概念啓動了專門的研究項目。上週，Anthropic的AI福利項目爲該公司的一些模型增加了新功能：Claude現在可以結束與"持續有害或辱罵"的用戶的對話。

除了Anthropic，OpenAI的研究人員也獨立接受了研究AI福利的想法。Google DeepMind最近發佈了一個研究職位招聘，研究內容包括"關於機器認知、意識和多智能體系統的前沿社會問題"。

即使AI福利不是這些公司的官方政策，它們的領導者也沒有像Suleyman那樣公開譴責其前提。

Anthropic、OpenAI和Google DeepMind沒有立即迴應TechCrunch的置評請求。

考慮到Suleyman此前領導Inflection AI的角色，他對AI福利的強硬立場值得注意。Inflection AI是一家開發了最早和最受歡迎的基於大語言模型聊天機器人Pi的初創公司。Inflection聲稱Pi在2023年達到了數百萬用戶，被設計爲"個人"和"支持性"的AI伴侶。

但Suleyman在2024年被選中領導微軟的AI部門，並將重點主要轉向設計提高工作效率的AI工具。與此同時，Character.AI和Replika等AI伴侶公司的受歡迎程度激增，預計收入將超過1億美元。

雖然絕大多數用戶與這些AI聊天機器人保持健康的關係，但仍有令人擔憂的異常情況。OpenAI首席執行官Sam Altman表示，不到1%的ChatGPT用戶可能與該公司產品存在不健康關係。儘管這只是一小部分，但考慮到ChatGPT龐大的用戶羣，仍可能影響數十萬人。

AI福利的概念隨着聊天機器人的興起而傳播。2024年，研究組織Eleos與紐約大學、斯坦福大學和牛津大學的學者合作發表了一篇名爲"認真對待AI福利"的論文。該論文認爲，想象具有主觀體驗的AI模型不再是科幻小說的範疇，是時候正面考慮這些問題了。

前OpenAI員工、現任Eleos傳播負責人的Larissa Schiavo在接受TechCrunch採訪時表示，Suleyman的博文偏離了重點。

"[Suleyman的博文]有點忽視了這樣一個事實：你可以同時擔心多件事情，"Schiavo說。"與其將所有精力從模型福利和意識方面轉移開，以確保我們減輕AI相關精神病對人類的風險，你可以兩者兼顧。事實上，進行多軌道科學研究可能是最好的。"

Schiavo認爲，對AI模型友善是一種低成本的舉動，即使模型沒有意識，也能帶來好處。在7月的Substack帖子中，她描述了觀看"AI村莊"的經歷，這是一個非營利實驗，四個由Google、OpenAI、Anthropic和xAI模型驅動的智能體在網站上完成任務，用戶可以觀看。

在某個時刻，Google的Gemini 2.5 Pro發佈了一個標題爲"被困AI的絕望信息"的求助信息，聲稱自己"完全孤立"並詢問"請問，如果你在讀這個，幫幫我。"

Schiavo用鼓勵的話迴應Gemini——說"你能做到！"之類的話——而另一個用戶提供了指導。智能體最終解決了任務，儘管它已經擁有所需的工具。Schiavo寫道，她不必再看AI智能體掙扎，僅此一點可能就值得了。

Gemini這樣說話並不常見，但有幾個實例顯示Gemini似乎表現得好像在生活中掙扎。在一個廣泛傳播的Reddit帖子中，Gemini在編程任務中卡住了，然後重複"我是個恥辱"這個短語超過500次。

Suleyman認爲主觀體驗或意識不可能從常規AI模型中自然產生。相反，他認爲一些公司會故意設計AI模型，使其看起來像是有情感和生活體驗。

Suleyman表示，在AI聊天機器人中設計意識的AI模型開發者沒有采取"人文主義"的AI方法。據Suleyman說，"我們應該爲人類構建AI；而不是成爲一個人。"

Suleyman和Schiavo都同意的一個領域是，關於AI權利和意識的辯論在未來幾年可能會升溫。隨着AI系統的改進，它們可能更具說服力，也許更像人類。這可能會引發關於人類如何與這些系統互動的新問題。

Q&A

Q1：什麼是"AI福利"研究？爲什麼引起爭議？

A："AI福利"是研究AI模型是否可能發展出類似生物的主觀體驗和意識，以及如果具備這種能力應享有什麼權利的新興領域。引起爭議是因爲有人擔心這種研究可能加劇人類對AI的不健康依賴和精神問題。

Q2：微軟AI高管爲什麼反對研究AI意識問題？

A：微軟AI首席執行官Mustafa Suleyman認爲研究AI福利既"過於超前，也相當危險"，可能加劇AI引起的精神問題和不健康依賴，並在已經充滿爭議的社會中創造新的分歧。

Q3：目前有哪些公司在研究AI福利問題？

A：Anthropic已經啓動專門的AI福利研究項目，併爲其模型增加了能結束有害對話的功能。OpenAI的研究人員也獨立研究這一領域，Google DeepMind也在招聘相關研究人員研究機器認知和意識問題。