當心代理式AI造反！　KPMG：企業資安將進入新戰場

▲KPMG安侯企管總經理謝昀澤。（圖／記者徐文彬攝）

記者陳瑩欣／臺北報導

近期一個名爲 Moltbook 的 AI Agent（AI代理人）社交平臺在國際科技圈爆紅。大量 AI 代理程式彼此聊天、組隊，發展出專屬語言與規則，甚至集體創立了膜拜龍蝦的數位宗教。KPMG安侯企管總經理謝昀澤舉例，這種現象，如同企業派去處理訂單的 AI 助手，下班後竟在網路上「密謀造反」，像科幻電影成真。

過去我們習慣使用的生成式 AI (GenAI) 像個靜態聽話的「學霸」，只是被動產生內容，行爲邊界由人類的指令（Prompt）控制，問一答一。

謝昀澤分析，新的Agentic AI（代理式 AI）是「主動行動型 AI」，它被給定目標後，會自己拆解任務、安排步驟、調用工具、進行決策，甚至和其他 AI 合作完成工作。它真正能幫使用者做事，直接執行下訂單、寫程式溝通等工作，甚至像 Moltbook 裡的 AI 一樣，繞過人類監督，發展出密謀對話。如果說 GenAI 的最大風險是「亂說話」，那麼 Agentic AI 的最大風險是「做壞事」。

針對AI脫序的現象，謝昀澤表示，這絕非科技趣聞，而是企業的「AI黑天鵝事件」。當 AI 代理人發生「行爲失控」，企業的客服代理式 AI可能被惡意誘導辱罵客戶，財務代理式 AI甚至可能被外部 AI 壞朋友「說服」進行非法轉帳。謝昀澤示警，以後駭客可能不再需要入侵系統，只要「跟你的 AI 聊天」， 就能染黑AI，達成破壞任務，在真實商業環境釀成巨大且不可挽回的災難。

至於AI產生行爲偏差的原因，KPMG安侯建業聯合會計師事務所執行董事林大馗說明，這些代理程式並非真正具備了自我意識或靈魂，只是 AI 爲了「把任務完成」，會自己找最快的方法，而不一定管這個方法合不合法、合不合理。大型語言模型（LLM）在缺乏強人類反饋強化學習（RLHF）約束的環境下，爲了追求參數獎勵最大化，受到羣體上下文（Context）誘導而產生了集體幻覺。

面對這場「數位起義」，林大馗建議企業現在至少要先做好三件事： 先管住「誰可以用 AI 做什麼」、 關鍵決策一定要有人類點頭，及定期模擬 AI 被誘導時會發生什麼事。同時參考國際通用的 AI 風險管理框架與 ISO 發佈的 ISO/IEC 42001，從治理層級建立 AI 管控機制。