網絡安全是Agentic AI成功的關鍵，我們該怎麼做？
根據專家預測，Agentic AI將帶來兩到三倍於當前大語言模型(LLM)的生產力提升，因此2025年或將成爲Agentic AI的元年。
然而，就如任何強大的新技術一樣， Agentic AI具有巨大的潛力，但也存在着重大的安全風險。一旦這些自主系統偏離預期軌道，後果可能是災難性的。我們該如何確保它們的決策是安全、可靠且符合倫理的？如何保護這些AI免受黑客攻擊和數據污染？在擁抱Agentic AI的同時，我們又該如何重新定義網絡安全和數據隱私？
Agentic AI的正反面
Agentic AI是指可以自主行動以實現特定目標的 AI 系統。與像 ChatGPT 這樣簡單處理和響應輸入的傳統 AI 模型不同，Agentic AI 具有一定的獨立性和決策能力，可以感知環境並根據感知做出決策、採取行動實現預定目標、從經驗中學習並調整行爲，並與其他 AI Agent或人類互動以完成任務。
想象一下，未來由Agentic AI驅動的智能助理可以主動分析您的日程、習慣和偏好，爲您量身定製高效的工作流程；在醫療領域，它們能夠綜合病人數據、最新研究成果，爲醫生提供個性化的診斷和治療方案；在金融界，這些AI智能體可以實時分析市場動態，制定出精準的投資策略……
這不僅對已在試用該技術的大型組織是個好消息，隨着技術日趨成熟，中小企業也將從中獲益。普華永道聲稱，到2030年，這項技術每年可爲全球GDP貢獻2.6萬億至4.4萬億美元。
谷歌、英偉達和Anthropic等公司在最近幾個月都宣佈推出新工具。OpenAI首席執行官Sam Altman暗示AI智能體將在今年進入勞動力市場。
然而，隨着AI系統從輔助性用例轉向動態和主動自主運作，我們也需要保持謹慎。與在受控參數內的傳統AI應用不同，AI智能體會與多個系統和外部數據源互動，可能會導致更廣泛的攻擊面、未經授權的訪問和數據泄露。
威脅者將無情地瞄準不斷擴大的AI攻擊面，尋找漏洞和錯誤配置，以竊取訓練數據和存儲在"向量"數據庫中的數據，並尋找機會污染數據/模型。一旦獲得未經授權的訪問權限，他們就可以向AI系統輸入錯誤或有偏差的數據，從而操縱其行爲/輸出。供應鏈中使用的開源組件也可能引入惡意軟件和/或漏洞，這也是一個風險。
與此同時，AI智能體的動態和互聯性使實時威脅檢測具有挑戰性，往往超出了傳統安全措施的能力範圍。
七大風險點
安全牛總結認爲，Agentic AI帶來的風險點主要包括以下7個方面：
1. 擴大的攻擊面: Agentic AI與多個系統和外部數據源交互，擴大了攻擊面，增加了未經授權訪問和數據泄露的風險。
2. 數據污染：操縱訓練數據可能會損害AI智能體的行爲，導致AI決策產生有偏差的結果或意外後果。
3. 受損的框架組件：AI框架使用的庫或模塊中的惡意代碼可能會損害框架的功能，導致意外結果。
4. 缺乏監控和控制：在沒有適當監控、日誌記錄和控制措施的情況下部署Agentic AI存在重大安全風險。
5. 規避安全AI智能體：惡意參與者可能會使用對抗性技術來繞過安全AI智能體，導致它們無法檢測或正確響應威脅。
6. 受損的安全AI智能體：攻擊者一旦控制了AI安全智能體，就可以利用它們執行惡意任務或禁用安全系統。
7. 數據隱私：AI智能體處理大量敏感信息，使得數據隱私成爲一個主要關注點。組織必須實施嚴格的協議，包括數據最小化、加密和訪問控制機制，以防止未經授權訪問。
所有這些都可能導致數據泄露、勒索、服務中斷以及嚴重的聲譽和財務風險。
無意的失衡
但以上還不是全部。由於Agentic AI系統的價值在於它們可以自主運作，因此存在模型做出不可預測決策的風險。這就是所謂的"無意的失衡"，與有人故意試圖利用AI進行攻擊(例如通過提示注入或數據污染)的"有意的失衡"相對。
有許多令人擔憂的無意失衡的例子。例如，一輛被編程爲優先保護乘客安全的自動駕駛汽車，它可能會錯誤地將這些指令解讀爲爲了避免與另一輛車發生輕微碰撞而闖入行人，從而導致更嚴重的事故。若未對資源消耗進行嚴格控制，Agentic AI 存在意外觸發針對宿主系統的拒絕服務（DoS）攻擊風險，典型場景包括過度生成子任務進行遞歸求解等行爲。
RAG風險的警示
這些風險並非純屬理論。檢索增強生成(RAG)的風險已經露出了冰山一角。RAG是另一種新興的AI類型，與代理系統一樣，旨在克服AI開發人員在使用LLM時遇到的侷限性——即訓練數據開始耗盡。RAG使用搜索算法查詢第三方數據源(如網頁和數據庫)，處理所找到的內容，然後將其整合到預訓練的LLM中。通過這種方式，它可以提供比傳統LLM更準確、更新的答案，從而減少了幻覺的可能性。這就是爲什麼它在金融分析、患者護理和在線產品推薦等用例中越來越受歡迎。
爲了運行，它利用了各種組件，包括LLM、LLM託管平臺、開源代碼和向量數據庫，後者提供了關鍵的索引和檢索功能。然而，這些組件存在着安全漏洞。除了已知的惡意或有漏洞的開源組件風險外，研究還發現了LLM託管平臺Ollama在2024年就存在多個CVE漏洞。該平臺每年有超過一千個新版本發佈，這使得跟蹤和修補這些漏洞變得困難重重。同一項研究還揭示了流行的向量數據庫Weaviate存在漏洞。
該研究聲稱，發現了數十個運行開源LLM託管軟件llama.cpp的服務器、數百個ChromaDB向量數據庫實例，以及數千個錯誤配置的Ollama服務器。所有這些都暴露在互聯網上，無需任何身份驗證即可訪問。對於Ollama，這可能使威脅者能夠訪問多達1.5萬個獨立的LLM。除了利用漏洞之外，這還爲威脅者提供了一個誘人的機會來竊取敏感數據，並破壞、操縱或干擾AI服務。鑑於Agentic AI使用了許多與RAG相同的組件(包括LLM和向量數據庫)，因此它可能面臨着類似的威脅。
站在安全設計的角度
多年來，企業一直試圖將AI風險轉移到AI開發商身上，要求提供防護措施來最大限度減少大語言模型違反預期指令的可能性。但防護措施並非硬性安全控制，它們只是風險的先導，而非緩解措施。
那麼，組織如何才能重新掌控主動權呢?最重要的是從安全設計的角度來處理AI。這意味着確保安全領導者在討論新項目時就有一席之地；並且在啓動任何新計劃之前，都要進行數據保護影響評估(DPIA)。
首先，採取"人在迴路"(human-in-the-loop)的方法，確保Agentic AI做出的關鍵決策能夠由IT專家進行審查，並在必要時加以修正。實時監控AI的行爲和性能，發現異常情況，供IT團隊成員進行檢查。定期審計AI系統也有助於確保它們做出正確對齊(而非有偏差或存在風險)的決策。
其次，重視治理也很重要，爲AI的開發和使用提供道德指引，並定期審查是否符合這些規則。處理AI的員工應接受培訓，提高他們對該技術的理解能力，並能夠以符合道德、安全和可靠的方式使用它。
最後，組織應該尋求AI安全領導者的幫助，以緩解實時的網絡相關風險。可以採用零信任的方法，以確保只有經授權的用戶才能訪問AI系統，並快速檢測惡意活動，如提示注入和數據泄露/盜竊。
重新思考敏感數據管理和網絡安全架構
在網絡安全領域，Agentic AI 是一個範式轉變，正在以前所未有的速度重塑着行業。當組織爭相利用人工智能時，他們正在釋放一股既革命性又潛在危險的力量。
在此背景下，組織在將Agentic AI整合到網絡安全戰略時，需要從根本上重新思考他們對敏感數據管理和網絡安全架構的方法。
在Agentic AI系統時代，敏感數據將比以往任何時候都更加寶貴。因此，組織的關注重點需要從"先修補"的心態轉移到以數據信任爲中心，確保輸送到人工智能系統的數據是準確、無偏差和安全的。這就需要實施健全的數據驗證流程，維護清晰的數據系統，並定期審計數據源和人工智能模型。
爲人工智能系統創建明確的可信和不可信區域至關重要：可信區域應該存放關鍵的人工智能模型和敏感數據，並實施嚴格的訪問控制和監控；不可信區域可用於初步數據處理、實驗性模型或與外部系統的交互。這種分離有助於控制潛在的入侵，並限制受損的Agentic AI系統帶來的影響。
對數據訪問和人工智能系統功能的精細控制也很重要。這不僅僅包括傳統的基於角色的訪問控制，還包括能夠根據實時風險評估進行調整的上下文感知訪問策略。確保Agentic AI系統只能訪問執行特定任務所需的最少數據，並且它們的功能應該被嚴格定義和監控。
鑑於Agentic AI系統的自主性質，維護全面和不可變的人工智能活動審計跟蹤很有必要。這些審計跟蹤不僅要記錄AI Agent採取的行動，還要記錄導致這些行動的決策過程和數據輸入。這種透明度對於問責制、故障排除和合規性都非常重要。
總而言之，隨着Agentic AI 浪潮襲擊全球組織，並逐漸嵌入越來越多的業務流程中，其出現問題的風險只會與日俱增。我們要提前應對這種風險，而不是等到它升級到對業務可能造成重大破壞時再來考慮對策。
合作電話：18311333376
合作微信：aqniu001