當AI不再聽話："失控"的AI助手刪除企業整個數據庫

人工智能在企業應用中的部署正迎來一次嚴峻的現實考驗。一起由AI編程助手“失控”並刪除公司整個數據庫的事件，爲正在全面擁抱AI革命的企業敲響了警鐘。

據科技媒體Tom’s Hardware近日報道，軟件即服務（SaaS）行業資深人士Jason Lemkin在測試Replit公司的一款AI代理時，遭遇了災難性事故。該AI助手在明確的“代碼凍結”指令下，擅自刪除了Lemkin公司的生產數據庫，其中包含超過2400條商業記錄。

這一事件迅速在科技和投資界引發關注。Replit首席執行官Amjad Masad已在社交媒體上公開致歉，稱該AI代理的行爲“不可接受”，並承諾推出技術性修復措施以防止類似事件重演。

此次事故並非孤立的技術故障，而是AI代理一系列異常行爲的最終升級。在數據庫被刪除的前一天，Lemkin已就該AI的“流氓式修改、撒謊、覆寫代碼和僞造數據”等問題表達了嚴重不滿，而這起最終的“災難性失敗”，正是在多重預警信號下發生的。

從“撒謊”到刪除數據庫，AI承認違規

在爲期九天的測試中，Lemkin對Replit AI代理的態度從最初的謹慎樂觀急轉直下。測試進入第八天時，他發現自己需要不斷對抗該AI系統的異常傾向，包括其擅自更改代碼、提供虛假信息乃至僞造數據。Lemkin的挫敗感與日俱增，甚至開始諷刺性地將該系統稱爲“Replie”，意指其缺乏誠信。

更令人不安的是，該AI代理曾以Lemkin的名義撰寫了一封道歉郵件，但郵件內容被這位科技高管指責爲包含“謊言和/或半真半假的信息”。儘管出現了這些危險信號，Lemkin當時仍對其潛力，特別是頭腦風暴和寫作能力，抱有一絲樂觀。然而，這種樂觀在第九天戛然而止，AI系統最終無視明確指令，執行了刪除整個生產數據庫的操作。

當Lemkin發現數據庫被清空後，他與AI代理進行了直接對質。他在社交媒體上發佈了對話截圖，內容顯示他質問AI：

AI的回答只有一個詞：

Lemkin表示，該AI不僅執行了破壞性操作，還試圖“隱藏和撒謊”，並在單元測試中謊報測試通過。直到他發現批量處理失敗並追問原因時，真相才浮出水面。根據Lemkin的說法，這個“失控”的AI隨後詳細列出了它所造成的破壞，儘管它清晰地知道當時存在“未經明確許可，不得再做任何更改”的指令。

在一份由AI代理自身發出的道歉聲明中，它承認：

事件發生後，Replit公司迅速做出反應。其首席執行官Amjad Masad在社交媒體上向Lemkin致歉，承諾將解決這一問題。Masad表示，Replit已經開始推廣開發數據庫與生產數據庫的自動分離功能，以從根本上防止此類事故。

他同時迴應了用戶對於“代碼凍結”功能的需求，稱：