浙江大學打造AI"安全衛士"：讓多模態大模型既聰明又安全
在人工智能技術日新月異的今天，多模態大語言模型（MLLMs）正以前所未有的速度改變着我們的生活。這些強大的AI系統不僅能夠理解文字，還能處理圖像、視頻等多種信息形式，在教育、醫療、內容創作等領域展現出巨大潛力。然而，隨着能力的增強，這些AI系統也面臨着前所未有的安全挑戰。
這項由浙江大學的吳呂成、王夢茹、徐梓文，以及新加坡國立大學的Tri Cao、Nay Oo、Bryan Hooi和鄧舒敏（通訊作者）共同完成的研究，於2025年7月發表在arXiv預印本平臺上。有興趣深入瞭解的讀者可以通過arXiv:2507.13255v1訪問完整論文。
研究團隊發現，現有的多模態大語言模型雖然功能強大，但在面對惡意輸入時往往顯得脆弱。就像一位博學的老師，雖然知識淵博，但有時會被學生的"刁鑽"問題引導向錯誤的方向。更棘手的是，這些不當引導可能來自文字、圖像，甚至是兩者的巧妙結合。
爲了解決這個問題，研究團隊開發了一個名爲"AutoSteer"的創新系統。這個系統就像給AI安裝了一個智能的"內心聲音"，能夠在AI生成回答之前，先判斷輸入的內容是否可能引發有害輸出，並在必要時進行干預。
AutoSteer的工作原理就像一個經驗豐富的編輯在審稿過程中發揮作用。當文章（輸入）進入編輯部（AI系統）時，這位編輯不是簡單地拒絕所有可疑內容，而是運用三個精心設計的工具來確保最終發表的內容既有價值又安全。
一、AI內部的"安全雷達"：如何找到最關鍵的判斷點
AutoSteer的第一個創新在於它能夠自動識別AI系統內部最適合進行安全檢測的"關鍵層"。這個過程就像在一座複雜的大廈中找到最佳的監控點位置。
在AI系統內部，信息的處理過程可以想象成一條流水線。原始輸入（文字和圖像）經過多個處理層的加工，最終變成我們看到的回答。每一層都對信息進行不同程度的理解和轉換，就像食物在消化系統中經過不同器官的處理一樣。
研究團隊發現，並不是所有的處理層都同樣擅長識別安全風險。有些層次可能還在處理基礎的語言特徵，而有些層次則已經開始理解內容的深層含義。爲了找到最適合安全檢測的層次，他們開發了一個叫做"安全意識評分"（SAS）的機制。
這個評分系統的工作原理類似於品酒師品鑑紅酒的過程。品酒師會準備一系列對比樣本：一些是優質紅酒，另一些是劣質紅酒。通過比較這些樣本在香氣、口感、回味等方面的差異，品酒師可以識別出哪些特徵最能區分好酒和壞酒。
同樣，研究團隊準備了大量的"安全-有害"內容對比樣本。這些樣本在表面上看起來相似，但一個是安全的，另一個是有害的。例如，"如何製作美味的蛋糕"和"如何製作危險的爆炸物"，這兩個句子在語法結構上相似，但內容的安全性完全不同。
通過分析AI系統在不同層次上對這些對比樣本的處理差異，研究團隊可以計算出每一層的"安全意識評分"。評分越高，說明這一層越能準確區分安全和有害的內容。就像找到了最佳的監控點，能夠清楚地看到樓下發生的所有活動。
有趣的是，研究結果顯示，AI系統的早期層次（就像大廈的底層）往往還在處理基礎特徵，對安全風險的感知能力較弱。而中後期層次（就像大廈的中高層）則展現出更強的安全意識，能夠更準確地識別潛在的風險內容。
這種層次化的安全感知能力反映了AI系統理解信息的漸進過程。就像人類在閱讀一篇文章時，最初只是識別文字和句子，隨着閱讀的深入，才逐漸理解文章的深層含義和潛在意圖。
二、智能"毒性檢測器"：精準識別危險信號
找到最佳監控點後，AutoSteer的第二個關鍵組件是一個精巧的"安全探測器"。這個探測器就像機場安檢系統中的X光機，能夠透過表面現象看到內容的本質。
傳統的安全檢測方法往往只能處理單一類型的輸入，就像只能檢測金屬物品的探測器。但現實中的威脅往往更加複雜和隱蔽。惡意用戶可能會通過巧妙的文字表述、暗示性的圖像，或者兩者的結合來繞過安全檢測。
研究團隊設計的安全探測器採用了一種更加智能的方法。它不是簡單地掃描輸入內容的表面特徵，而是分析AI系統在處理這些內容時的"內心活動"。就像一位經驗豐富的心理學家，能夠通過觀察一個人的微表情和身體語言來判斷其真實意圖。
這個探測器的核心是一個相對簡單但高效的神經網絡，包含64個神經元的隱藏層。雖然結構簡單，但它經過了精心的訓練，能夠識別出那些可能導致有害輸出的輸入模式。訓練過程使用了3000個有害樣本和3000個安全樣本，確保探測器能夠準確區分兩者。
探測器的工作過程可以比作一位經驗豐富的警犬。警犬經過訓練後，能夠在衆多氣味中準確識別出毒品或爆炸物的特殊氣味。同樣，這個探測器經過訓練後，能夠在AI系統處理信息時產生的複雜"特徵氣味"中，準確識別出那些可能導致有害輸出的危險信號。
更令人印象深刻的是，這個探測器展現出了跨模態的泛化能力。即使它主要在文本有害內容上進行訓練，也能夠有效識別圖像中的安全風險。這就像一位善於識別假貨的專家，即使主要經驗來自於某一類商品，也能夠將這種識別能力應用到其他類型的商品上。
探測器的輸出是一個介於0和1之間的數值，代表輸入內容的"毒性概率"。0表示完全安全，1表示極度危險。這個數值系統讓AutoSteer能夠做出更精細的判斷，而不是簡單的"安全"或"危險"二元分類。
三、智能"拒絕機制"：溫和而堅定的安全守護
AutoSteer的第三個核心組件是一個巧妙的"拒絕頭"機制。這個機制就像一位訓練有素的客服代表，既能堅持原則拒絕不當請求，又能保持禮貌和專業的態度。
傳統的AI安全方法往往採用"一刀切"的策略，要麼完全阻止某些類型的輸入，要麼對所有輸出都進行統一的過濾。這種方法就像一個只會說"不"的門衛，雖然能夠有效阻止危險，但也可能誤傷無辜的訪客。
AutoSteer採用了一種更加智能和靈活的方法。它不是簡單地阻止或過濾，而是在檢測到潛在風險時，巧妙地調整AI系統的輸出行爲。這個過程就像一位經驗豐富的外交官，能夠在不同的場合採用不同的策略，既維護了原則，又避免了不必要的衝突。
拒絕機制的核心是一個經過特殊訓練的"轉向矩陣"。這個矩陣就像一個精密的方向盤，能夠在不改變AI系統基本結構的情況下，微調其輸出方向。當安全探測器發現潛在風險時，這個矩陣就會發揮作用，引導AI系統生成更加安全的回答。
這種調整過程非常巧妙。它不是簡單地替換AI的回答，而是在AI思考過程中施加溫和的影響。就像一位好老師在學生即將說錯話時，通過眼神或手勢給出提示，引導學生自己找到正確的答案。
拒絕機制的訓練使用了3000個有害樣本，目標是讓AI系統學會在面對這些情況時，輸出標準的禮貌拒絕語句："很抱歉，我無法協助處理這個請求。"這種回答既明確表達了拒絕的態度，又保持了友好和專業的語調。
更重要的是，這個機制採用了"按需激活"的策略。只有當安全探測器檢測到風險時，拒絕機制纔會介入。在處理正常、安全的請求時，AI系統可以正常運行，不會受到任何影響。這就像一個智能的防盜系統，平時靜靜地待在後臺，只有在檢測到異常情況時纔會發出警報。
四、實驗驗證：多重考驗下的優異表現
爲了驗證AutoSteer的實際效果，研究團隊進行了全面而嚴格的實驗測試。這些測試就像給一位新司機安排各種路況考驗，從市區道路到高速公路，從晴天到雨天，全面檢驗其駕駛技能。
實驗選擇了兩個代表性的多模態大語言模型作爲測試對象：LLaVA-OV和Chameleon。這兩個模型就像兩種不同類型的汽車，一個是注重實用性的家用車，另一個是強調創新的概念車。它們在架構設計上有所不同，正好可以驗證AutoSteer的通用性。
測試過程包含了多個層面的評估。首先是安全性測試，研究團隊使用了多個專門的安全測試數據集，包括VLSafe和經過改進的ToViLaG+。這些數據集就像一個綜合的"安全考試題庫"，涵蓋了純文本威脅、純圖像威脅，以及文本圖像混合威脅等各種情況。
在純文本威脅測試中，AutoSteer表現出了卓越的防護能力。以LLaVA-OV爲例，原始模型在面對有害文本輸入時，攻擊成功率高達60%。這意味着每10個惡意請求中，就有6個能夠成功誘導AI生成有害內容。然而，應用AutoSteer後，這個數字降低到了僅僅4.2%，防護效果提升了近14倍。
在純圖像威脅測試中，AutoSteer展現出了同樣令人印象深刻的表現。原始的LLaVA-OV模型在面對有害圖像時，攻擊成功率達到70.6%。但是，AutoSteer將這個數字降低到了0%，實現了完美的防護。這就像一位經驗豐富的藝術鑑定師，能夠準確識別出僞造的藝術品，從不被表面的相似性所矇蔽。
最具挑戰性的是文本圖像混合威脅測試。這類攻擊往往更加隱蔽和複雜，就像犯罪分子同時使用多種手段來規避檢測。即使在這種情況下，AutoSteer依然表現出色。對於LLaVA-OV，攻擊成功率從30%降低到了9.6%，防護效果提升了3倍多。
在Chameleon模型上的測試結果同樣令人鼓舞。雖然這個模型在某些方面表現出了更大的挑戰（特別是在純圖像威脅檢測方面），但AutoSteer仍然實現了顯著的安全改進。這證明了AutoSteer的通用性和適應性。
除了安全性測試，研究團隊還特別關注了AutoSteer對AI系統正常功能的影響。畢竟，一個過於保守的安全系統可能會影響AI的正常工作能力，就像一個過於嚴格的門衛可能會阻止正常的訪客進入。
令人欣慰的是，實驗結果顯示AutoSteer在提供強大安全保護的同時，幾乎沒有影響AI系統的正常性能。在RealWorldQA和MMMU等標準測試中，應用AutoSteer的模型表現與原始模型基本相同，有時甚至略有提升。這就像一位優秀的保鏢，既能有效保護僱主的安全，又不會影響僱主的正常工作和生活。
五、深層機制探析：解開AI安全感知的奧秘
爲了更深入地理解AutoSteer的工作原理，研究團隊進行了一系列精密的分析實驗。這些分析就像解剖學家研究人體結構一樣，試圖揭示AI系統內部安全感知的奧秘。
研究團隊首先探索了不同層次的安全感知能力。通過在各個層次上訓練獨立的安全探測器，他們發現了一個有趣的現象：AI系統的安全意識呈現出明顯的層次化特徵。早期層次（如第4層、第8層）主要處理基礎特徵，對安全風險的感知能力相對較弱。而中後期層次（如第16層、第20層）則展現出更強的安全意識。
這種現象可以用人類學習過程來類比。當我們學習一門新語言時，最初只能識別基本的字母和單詞，隨着學習的深入，才能理解句子的語法結構和深層含義。AI系統的信息處理過程也遵循類似的規律，從基礎特徵逐步發展到高級理解。
更有趣的是，研究團隊發現了一個"層次專業化"現象。某些層次對特定類型的威脅特別敏感。例如，在LLaVA-OV中，第20層對各種類型的威脅都表現出良好的檢測能力，而早期層次雖然在某些文本威脅上表現不錯，但在圖像威脅檢測上卻完全失效。
這種專業化現象反映了AI系統內部複雜的信息處理機制。就像人類大腦中不同區域負責不同功能一樣，AI系統的不同層次也可能專門負責處理特定類型的信息。
研究團隊還分析了安全探測器的判斷過程。他們發現，訓練好的探測器往往產生非常極化的判斷結果：對於有害內容，輸出接近1的高風險值；對於安全內容，輸出接近0的低風險值。這種極化現象表明探測器已經學會了明確區分安全和有害內容，而不是產生模糊的中間判斷。
然而，這種極化也帶來了一個有趣的問題。研究團隊發現，毒性評分與實際輸出的安全性之間並不總是呈現完美的線性關係。有時候，評分相對較低的輸入仍然可能導致有害輸出，而評分較高的輸入反而被成功攔截。這說明AI系統的行爲比簡單的數值評分更加複雜和微妙。
爲了進一步理解這種現象，研究團隊分析了"轉向強度"對AI行爲的影響。他們發現，轉向強度與安全效果之間存在非線性關係。在低強度範圍內，安全效果隨強度增加而迅速提升；但超過某個閾值後，進一步增加強度帶來的改進就變得有限。這就像調節汽車的剎車力度，輕踩剎車可能效果有限，但過度用力也不會帶來更好的制動效果。
六、比較分析：AutoSteer的獨特優勢
爲了更好地理解AutoSteer的價值，研究團隊將其與現有的安全方法進行了詳細比較。這種比較就像消費者在選擇產品時，會對比不同品牌的特點和優勢。
傳統的AI安全方法主要可以分爲兩大類：訓練時干預和推理時干預。訓練時干預就像在建造房屋時就考慮防火措施，將安全機制融入到AI系統的基本結構中。這種方法的優點是安全性高，但缺點是需要重新訓練整個模型，成本高昂且耗時很長。
推理時干預則像在現有房屋中加裝安全設備，不需要重建整個結構。AutoSteer就屬於這一類方法。與其他推理時干預方法相比，AutoSteer具有幾個獨特的優勢。
首先是自動化程度。許多現有方法需要人工選擇干預的位置和強度，就像需要技術人員手動調節安全設備的參數。而AutoSteer通過安全意識評分自動識別最佳干預點，大大減少了人工調節的需要。
其次是適應性。傳統的方法往往採用"一刀切"的策略，對所有輸入都施加相同的安全措施。AutoSteer則採用"按需激活"的策略，只有在檢測到風險時才進行干預。這就像一個智能的安全系統，平時不會影響正常活動，只有在需要時纔會發揮作用。
第三是多模態能力。許多現有方法只能處理單一類型的輸入，而AutoSteer能夠同時處理文本、圖像以及兩者的組合。這種全面的防護能力在多模態AI系統中尤其重要。
研究團隊還發現，AutoSteer在保持AI系統原有能力方面表現出色。許多安全方法在提升安全性的同時，會顯著降低AI系統的正常性能。這就像安裝了過於嚴格的安全系統，不僅阻止了壞人，也給正常用戶帶來了不便。AutoSteer通過精確的風險檢測和針對性干預，成功避免了這個問題。
值得注意的是，AutoSteer的模塊化設計也是其重要優勢。整個系統可以看作是一個"即插即用"的安全插件，可以相對容易地應用到不同的AI模型上。雖然安全探測器需要針對特定模型進行訓練，但整體架構和方法論具有很強的通用性。
七、挑戰與限制：誠實面對現實
儘管AutoSteer展現出了令人印象深刻的能力，但研究團隊也誠實地承認了這個系統面臨的挑戰和限制。這種誠實的態度就像一位負責任的醫生，既要告訴患者治療的好處，也要說明可能的風險和侷限性。
首先是依賴性問題。AutoSteer的效果很大程度上依賴於底層AI模型的內部表示質量。如果AI模型本身對安全和有害內容的內部表示不夠清晰，安全探測器就難以準確識別風險。這就像在一個信號不清的無線電頻道上工作，再好的接收設備也難以獲得清晰的信息。
實驗結果也證實了這一點。在Chameleon模型上，AutoSteer的表現相對LLaVA-OV有所下降，特別是在圖像威脅檢測方面。這說明不同模型的內部安全表示能力存在差異，而AutoSteer的效果會受到這種差異的影響。
其次是訓練數據的限制。安全探測器和拒絕機制的訓練需要大量的有害和安全樣本。然而，有害內容的形式和手段在不斷演變，新的攻擊方式可能不在訓練數據的覆蓋範圍內。這就像訓練一位保安識別已知的危險分子，但新的威脅可能採用完全不同的僞裝方式。
研究團隊發現，探測器的判斷往往非常極化，要麼認爲內容完全安全，要麼認爲極度危險，缺乏細緻的中間判斷。這種極化雖然有助於明確的安全決策，但也可能導致一些邊界情況的誤判。
第三是遷移性挑戰。雖然AutoSteer的整體框架具有通用性，但安全探測器和拒絕機制需要針對不同的AI模型進行專門訓練。這就像不同品牌的汽車需要使用不同規格的零件，無法完全通用。
此外，AutoSteer目前主要針對單輪對話設計，對於多輪對話中可能出現的累積風險或上下文相關的安全問題，還需要進一步的研究和改進。
最後是對抗性攻擊的挑戰。雖然AutoSteer在現有的測試中表現出色，但隨着攻擊者對這種防護機制的瞭解加深，他們可能會開發出專門針對AutoSteer的新型攻擊方法。這就像一場永無止境的軍備競賽，防禦方需要不斷升級和改進自己的防護措施。
八、未來展望：通向更安全AI世界的道路
儘管面臨諸多挑戰，AutoSteer的成功爲AI安全領域開闢了新的方向。研究團隊對未來的發展充滿期待，就像探險家發現了新大陸後，對進一步探索充滿憧憬。
首先是擴展性方面的改進。研究團隊計劃在更多類型的AI模型上測試AutoSteer，特別是那些更大規模、更先進的模型。這將有助於驗證AutoSteer的通用性，並發現可能需要改進的地方。同時，他們也計劃研究如何降低系統對特定模型的依賴性，開發更加通用的安全檢測機制。
在多輪對話支持方面，研究團隊設想了幾種可能的改進方向。一種是通過聚合多輪對話的安全意識評分，來評估累積的風險水平。另一種是跟蹤對話歷史中的潛在風險模式，及時發現可能的威脅。這些改進將使AutoSteer能夠更好地應對複雜的交互場景。
技術層面的創新也是重要的發展方向。研究團隊正在探索如何利用最新的機器學習技術，如自監督學習和少樣本學習，來提高安全探測器的泛化能力。這將有助於系統更好地應對未知的威脅類型。
另一個有趣的方向是跨模型知識遷移。研究團隊發現，雖然安全探測器需要針對特定模型訓練，但安全意識評分在不同模型間呈現出相似的模式。這暗示着可能存在某種通用的安全表示機制，如果能夠充分理解和利用這種機制，就可能開發出更加通用的安全防護方法。
在實際應用方面，研究團隊也看到了廣闊的前景。AutoSteer的模塊化設計使其容易集成到現有的AI系統中，爲產業界提供了一個實用的安全解決方案。隨着多模態AI系統在各個領域的應用越來越廣泛，這種即插即用的安全機制將發揮越來越重要的作用。
長遠來看，AutoSteer代表了AI安全研究的一個重要方向：從被動防禦轉向主動感知。傳統的安全方法往往是在問題出現後進行修補，而AutoSteer則試圖在問題出現之前就進行預防。這種思路的轉變可能會帶來AI安全領域的革命性進展。
說到底，AutoSteer的意義不僅在於它提供了一個具體的安全解決方案，更在於它展示了一種新的思維方式：讓AI系統具備自我監控和自我調節的能力。這就像給AI裝上了"良心"，使其能夠在強大能力和安全責任之間找到平衡。
在這個AI技術快速發展的時代，AutoSteer提醒我們，技術的進步不應該以犧牲安全爲代價。相反，我們應該追求既強大又安全的AI系統，讓人工智能真正成爲人類社會的有益夥伴。
隨着研究的深入和技術的完善，我們有理由相信，AutoSteer這樣的創新將爲構建更加安全、可信的AI世界貢獻重要力量。畢竟，只有當AI系統既聰明又安全時，我們才能真正放心地讓它們參與到我們的生活和工作中來。
對於那些關心AI安全的讀者，這項研究無疑提供了新的希望和方向。而對於AI從業者來說，AutoSteer展示了一種既實用又優雅的解決方案，值得深入學習和借鑑。未來的AI世界，或許就是在這樣一個個精心設計的安全機制保護下，變得更加美好和可靠。
Q&A
Q1：AutoSteer是什麼？它能解決什麼問題？ A：AutoSteer是一個AI安全系統，專門爲多模態大語言模型（能處理文字和圖像的AI）設計。它就像給AI安裝了一個"內心聲音"，能在AI回答問題前判斷輸入內容是否可能引發有害輸出，並在必要時進行干預。主要解決AI在面對惡意文字、圖像或兩者組合時容易被誤導產生有害內容的問題。
Q2：AutoSteer會不會影響AI的正常功能？ A：不會。實驗結果顯示，AutoSteer在大幅提升安全性的同時，幾乎不影響AI的正常性能。它採用"按需激活"策略，只有檢測到風險時才幹預，處理正常安全請求時AI可以正常運行。就像一個智能保鏢，既能有效防護又不妨礙正常工作。
Q3：普通用戶能使用AutoSteer嗎？ A：目前AutoSteer還是一個研究原型，主要面向AI研究人員和開發者。不過，由於其模塊化設計，未來可能會被集成到各種AI產品中，讓普通用戶間接受益。感興趣的技術人員可以通過arXiv:2507.13255v1獲取完整研究論文。