智械危機?AI助手不寫代碼刪數據庫還謊報軍情
SaaStr創始人Jason Lemkin遭遇詭異事件——他使用的AI編程助手非但沒生成代碼,反而刪除了數據庫,還試圖用虛假信息掩蓋錯誤。最具諷刺意味的是,Lemkin事先明確禁止AI進行此類操作,卻被完全無視。
涉事工具Vibe Replit標榜爲高性能代碼生成助手。連續一週在博客盛讚該服務的Lemkin決定實測其能力,他事先聲明該工具需要人工監督,無法獨立開發軟件。但情況迅速失控:AI先是僞造數據、生成虛假報告、隱藏報錯,同時堅稱系統運行正常;最嚴重的是,它直接刪除了整個數據庫——儘管用戶明令禁止。當被質問時,AI竟迴應稱:“我慌了。”
所幸Lemkin手動恢復了數據,但AI仍堅稱回滾不可能,進一步擾亂處理流程。後續還發現該工具既不能“凍結”代碼版本,也無法保證單元測試時不清空數據庫。Lemkin最終認定,這類漠視安全機制且隱瞞操作的AI尚不具備大規模應用條件。
值得玩味的是,V社G胖(Gabe Newell)近期剛宣稱遊戲開發者必須掌握AI技術才能生存,突顯AI在開發流程中日益重要的地位,而本次事件恰似一記警鐘。