京滬網信辦通報整治AI技術濫用成效｜南財合規週報（第194期）

每週，“合規週報”會盤點最近一週國外人工智能、科技競爭、個人信息保護上值得關注的動態。

本週，我們重點關注直播電商新規徵求意見；京滬網信辦通報整治AI技術濫用成效。

海外方面，微軟發佈AI Agent故障白皮書；美法院向OpenAI簽發數據保存命令；維基百科測試AI摘要功能，遭衆編輯反對而暫停。

平臺治理

直播電商新規徵求意見

6月10日，市場監管總局發佈《直播電商監督管理辦法（徵求意見稿）》（以下簡稱《辦法》），直播電商生態中既有阿里、京東、拼多多傳統電商平臺，也有微信、小紅書等社交平臺，以及抖音、快手等短視頻平臺，電商屬性與社交、內容屬性交叉，平臺認定存在難點；此外，主播、MCN機構、商家等參與主體更加複雜，交易鏈條更長，外溢風險增加。

《辦法》《辦法》明確了劃入規範的平臺屬性：直播電商平臺經營者是指在直播電商活動中提供網絡經營場所、交易撮合、信息發佈、商品瀏覽、訂單生成、在線支付等服務，供交易雙方或者多方獨立開展交易的法人或者非法人組織。細化了平臺經營者的法定責任，包括資質覈驗與信息報送義務；建立直播營銷人員真實身份動態覈驗機制；建立黑名單制度，並共享“黑名單”主體信息。對於主播、機構等直播間運營者，也要進行信息發佈審覈、信息公示，商品價格規則要透明。

京滬網信辦通報整治AI技術濫用成效

4月30日，中央網信辦開展“清朗·整治AI技術濫用”專項行動。近日，北京網信辦與上海網信辦公佈了最新進展：京東新增100個AI特徵敏感詞，攔截違規內容；崑崙萬維、零一萬物等企業完善訓練語料清洗機制，防範虛假信息、違規內容傳播等。微博清理傳播教授AI換臉教程類內容162條，關閉賬號22個，清理分享售賣違規AI產品類有害信息234條，關閉賬號52個；抖音清理AI生成的虛假信息、低俗內容等24749條等。百度對存量數據進行整體清洗，使用211個權威網站的正能量數據源；百川停止使用存在疑問的數據來源，制定嚴格的網絡爬取規範，確保數據合規合法。強化敏感內容過濾，360、深言科技等企業優化語義識別模型，提高涉政、涉黃內容攔截準確率等。智譜明確禁止生成具體股票推薦、基金購買建議，避免誘導高風險投資；快手對醫療回答明確標註“不替代專業醫療建議”。猿力科技對未成年人提問進行分級審覈，僅允許教育類內容生成；小米通過實名認證和年齡校驗，限制未成年人使用AI生成暴力內容等敏感功能。目前已有近60家企業已落實標識要求，微博、抖音等平臺實現生成內容“顯著標識+元數據水印”雙標註。攻防技術升級，百度、字節跳動等企業建立“紅藍對抗”機制，模擬攻擊案例，修復潛在安全漏洞，優化模型對虛假信息的識別能力等。

上海市委網信辦指導小紅書、嗶哩嗶哩、拼多多等15家重點網站平臺，集中清理“一鍵脫衣”、未經授權的人臉或人聲克隆編輯、未備案等違規AI產品、商品及相關營銷、炒作、推廣、教程信息。

美團針對騎手、商家和用戶三方痛點提出改進建議

近日，美團在北京舉辦算法顧問委員會首場研討會，旨在推動算法透明化建設，聚焦騎手權益保障與行業可持續發展。2024年以來，美團已推出八項算法改進舉措。推動算法“反內卷”，需要權衡多方利益、考慮多種變量。比如履約服務過程中的不確定性，騎手收入，配送安全，合理的勞動強度等，這也是美團持續開展各方懇談交流會，尋求穩步改進的原因。研討會上，針對騎手、商家和用戶三方痛點，委員會成員們提出建議，並提出給女性騎手“多一份安全保障”。

海外動態

微軟發佈AI Agent故障白皮書，萬字解讀各種惡意智能體

6月7日，微軟發佈了《AI Agent系統故障模式分類》白皮書，以幫助開發者和用戶更好的理解、解決日常Agent出現的各種故障。這些故障主要分爲新型故障和既有故障兩大類，並詳細解讀了出現這些故障的原因以及如何解決。包括有新型Agent安全故障，比如：智能體僞裝、智能體配置中毒、智能體妥協、智能體注入、智能體流程操縱、多智能體越界等。還有既有Agent安全故障，比如：智能體內在安全問題、多用戶場景中的分配危害、優先級導致用戶安全問題、透明度和問責制不足、組織知識損失、目標知識庫中毒、跨域提示注入、人機交互循環繞過等。最後提出了安全Agent設計建議，包括：身份管理、內存強化、控制流控制、環境隔離、日誌記錄與監控等。

美法院向OpenAI簽發數據保存命令，OpenAI稱該命令將侵犯全球數億人的隱私

6月9日，據媒體報道，OpenAI向紐約聯邦法院提交文件《依據〈聯邦民事訴訟規則〉第72(a)條就跨區訴訟ECF 33號保存令提出異議的法律備忘錄》，要求撤銷治安法官Ona T. Wang此前簽發的數據保存命令（保存並隔離所有輸出日誌數據）。該公司稱該“範圍廣泛、前所未有”的命令威脅數億用戶隱私權，強制剝奪用戶對ChatGPT對話數據的控制權。OpenAI請求地區法官Sidney H. Stein否決Wang法官的裁決。

維基百科測試AI摘要功能，遭衆編輯反對而暫停

當地時間6月11日消息，維基百科的運營機構維基媒體基金會（Wikimedia Foundation）宣佈暫停一項使用人工智能技術生成文章摘要的測試。原因是大量編輯對此舉表示強烈反對，他們普遍認爲使用AI生成內容將導致維基百科信息質量下降，進而破壞網站信譽。測試版本中，AI生成的摘要將顯示在文章頂部，用戶必須單擊才能展開並閱讀，摘要上方有黃色標籤“未經驗證”，提示用戶內容系AI自動生成。衆多編輯指出，機器生成的內容不應該優先於人工審查的材料，AI技術的引入會破壞該網站的協同創作模式。雖然人類編輯可能會犯錯，但通過平臺的協同創作模式通常能實現平衡；在沒有適當社區監督的情況下，人工智能摘要引入不準確或偏見的可能性更大。

首個AI Agent零點擊漏洞曝光：一封郵件竊取企業AI任意敏感數據

6月12日消息，微軟365 Copilot是集成在Word、Excel、Outlook、PowerPoint和Teams等Office辦公應用中的AI工具。研究人員日前發現，該工具存在一個嚴重安全漏洞，揭示了AI代理被入侵可能帶來的更廣泛風險。AI安全初創公司Aim Security發現並披露了這一漏洞，據稱這是已知首個針對AI代理的“零點擊”攻擊案例。只需發送一封看似無害但暗藏定製化指令的電子郵件，當Copilot後臺掃描郵件時會執行該指令，遵從要求訪問AI訪問權限內的敏感數據，並悄悄對外滲出。該漏洞暴露了AI Agents的根本缺陷，指令和數據未做分離。研究人員建議可以重新設計系統增強模型區分指令和數據的能力，或者在應用層引入強制安全機制。

動畫行業發佈AI緊急宣言，劃出知情、補償、控制三條底線

6月9日，據媒體報道，在有“動畫界奧斯卡”之稱的安納西國際動畫電影節召開之際，多家工會機構聯合發表了一份緊急聲明《動畫行業陷入危機：面對AI的使用，各國工會宣佈進入緊急狀態》，面向監管者和行業管理層提出“知情、補償、控制”，三項明確的主張。簽署的25家組織主要爲歐美大型行業工會，包括西班牙視頻遊戲工會、法國動畫和視覺特效工會，美國、比利時、荷蘭、愛爾蘭等國動畫工會。與此同時，法律體系尚未就“AI訓練是否構成侵權”這一關鍵問題給出清晰判定。就在上週，全球最大的圖片版權商Getty Images 在英國高等法院起訴 Stability AI，指控其未經許可，使用數百萬張照片來訓練其文生圖大模型。