如何主動防禦威脅？沈昌祥：自主可信計算築牢AI安全底座

11月7日，2024大灣區網絡安全大會在廣州長隆國際會展中心舉行，中國工程院院士沈昌祥以“自主可信計算築牢人工智能安全底座”爲主題發表演講。沈昌祥表示，人工智能在賦能人類社會加快發展新質生產力，創建虛實融合新型網絡空間的同時，正逐漸衍生出可危及國家安全和人類社會的風險。安全可信保障是發展人工智能的前提，需要構建主動免疫的人工智能安全產業空間。

中國工程院院士沈昌祥在2024大灣區網絡安全大會上發表主題演講。

什麼是自主可信計算？沈昌祥在演講中提到，可信計算是保障信息系統可預期性的技術，是指在計算的同時進行安全防護，使計算結果總是與預期值一樣，確保計算全程可測可控，不受干擾。中央“市場準入十條”（《關於完善市場準入制度的意見》）中的“自主可信計算”不是泛指可信計算技術，而是指源自中國、完全自主的可信計算技術——可信3.0，故文件中特地強調“自主”二字。

在沈昌祥看來，ChatGPT開創了智能化應用新局面，但基於大模型自身無安全可信和倫理道德，對人類社會帶來不利影響。大模型在全面拓展深度學習算法模型能力的同時，也放大了AI安全問題，包括大模型機制風險、數據安全風險問題等。大模型繼承深度學習模型的“黑盒子”特性疊加，加上高達百億或千億的複雜參數與神經網絡結構，導致決策、推理過程難以被解釋，由此埋下風險隱患，帶來虛假、偏見、侵權甚至違背倫理等低質量輸入數據，大模型安全可信岌岌可危，其中最難以察覺的問題包括“幻覺”、偏見和違反當地法律法規及違背風俗習慣、價值觀等問題。

沈昌祥表示，網絡安全實質是計算科學問題，可以用自主可信計算（即免疫可信計算3.0）來徹底根治。網絡安全風險程度與其脆弱度、威脅度密切相關，網絡空間的脆弱主要包括計算科學問題，圖靈計算原理少攻防理念；體系結構問題，馮諾伊曼架構缺防護部件；計算模式問題，重大工程應用無安全服務。威脅度主要涉及黑客羣體的病毒、敵對勢力APT攻擊、霸權國家的“網絡戰”。設計IT系統不能窮盡所有邏輯，利用邏輯缺陷挖掘漏洞，進行攻擊的風險始終存在，傳統“封堵查殺”難以應對未知惡意攻擊是永遠命題。因此，需要降低脆弱性，用安全可信產品和服務，在計算同時進行動態防護，使得完成計算任務的邏輯組合不被篡改和破壞，相當於人體有免疫力確保健康。需要按國家網絡安全法律、戰略及等級保護制度要求，用安全可信產品和服務構建主動免疫防護保障體系。

“可信可用方能安全交互”“主動免疫方能有效防護”“自主創新方能安全可控”，沈昌祥在演講中提到，中國可信計算源於1992年立項研製的“免疫的綜合安全防護系統（智能安全卡）”，1995年2月通過測評與鑑定。經過長期軍民融合攻關應用，形成了自主創新安全可信體系，即可信計算3.0，開啓網絡安全主動防禦時代。

據介紹，《國家中長期科學和技術發展規劃綱要（2006年-2020年）》明確提出以發展高可信網絡爲重點，開發網絡安全技術及上關產品，建立網絡安全技術保障體系。可信計算已經廣泛應用於國家重要信息系統，如增值稅防僞、彩票防僞、二代居民身份證安全系統、中央電視臺全數字化可信製播環境建設、國家電網電力數字化調度系統安全防護建設等，擺脫受制於人被動局面，以發展高可信網絡爲重點，搶佔核心技術制高點。2020年10月，國家等級保護2.0與可信計算3.0攻關示範基地揭牌。

“完備的可信計算3.0產品鏈，將形成巨大的新型產業空間”，沈昌祥認爲，服務器無處不在，無所不起作用，形成了巨大產業空間。等保2.0新標準把雲計算、移動互聯網、物聯網和工控系統等採用可信計算3.0作爲核心要求，築牢網絡安全防線。以國家電網調度系統安全防護建設爲例，電力可信計算密碼平臺已在34個省級以上調度控制中心使用，覆蓋上千套地級以上電網調度控制系統，涉及十幾萬個節點，約4萬座變電站和1萬座發電廠，有效抵禦各種網絡惡意攻擊，確保電力調度系統安全運行。

2024大灣區網絡安全大會由廣東省公安廳、廣東省衛生健康委員會、廣東省教育廳、廣東省政務服務和數據管理局指導，廣東省計算機信息網絡安全協會主辦，廣東省粵港澳合作促進會聯合主辦。

出品：南都大數據研究院

採寫：南都記者 袁炯賢