重點整治AI技術濫用等網絡亂象
據悉，近年來，中央網信辦持續部署開展“清朗”系列專項行動，集中時間、集中力量打擊網上各類亂象問題，從嚴處置違規平臺和賬號，取得積極成效，形成有力震懾。2025年，“清朗”系列專項行動將進一步鞏固提升治理成效，聚焦人民羣衆反映強烈的突出問題，重點開展8項整治任務。
其中AI技術濫用亂象成爲今年的重點整治對象之一。中央網信辦具體要求，要突出AI技術管理和信息內容管理，強化生成合成內容標識，打擊借AI技術生成發佈虛假信息、實施網絡水軍行爲等問題，規範AI類應用網絡生態。
網信辦發佈8項整治任務
包括直播打賞等
2025年，“清朗”系列專項行動將進一步鞏固提升治理成效，聚焦人民羣衆反映強烈的突出問題，在破解難點瓶頸方面下功夫，強化源頭管理和基礎管理；在治理創新方面下功夫，針對性細化每個專項打法舉措；在維護網民權益方面下功夫，嚴厲打擊各類侵權違法行爲，營造更加清朗有序的網絡環境。
重點整治任務包括:整治春節網絡環境、整治“自媒體”發佈不實信息、整治短視頻領域惡意營銷、整治AI技術濫用亂象、整治涉企網絡“黑嘴”、整治暑期未成年人網絡環境、整治網絡直播打賞亂象、整治惡意挑動負面情緒等。
中央網信辦相關部門負責人表示，將有序推進“清朗”系列專項行動各項任務，同時，也會根據實際情況需要增加重點整治內容。將進一步壓實各方主體責任，持續淨化信息內容、規範功能服務，確保整治工作取得實效，推動網絡生態持續向好。
南都聚焦AI技術濫用
“公衆從源頭參與是解決方案”
AI技術濫用亂象成爲今年重點整治對象之一。中央網信辦具體要求，要突出AI技術管理和信息內容管理，強化生成合成內容標識，打擊借AI技術生成發佈虛假信息、實施網絡水軍行爲等問題，規範AI類應用網絡生態。
南都大數據研究院持續關注AI治理，近期推出“AI新治向”專題報道。其中，通過數據分析，解讀2024年全球AI風險事件，關注AI幻覺、深度合成技術濫用等AI應用安全風險。
此外，還梳理2024年國內AI風險主要輿情案例，聚焦AI造謠這一AI技術濫用亂象，探討治理路徑。報道發現，當前利用AI技術造謠日趨頻繁。據南都大數據研究院不完全統計，2024年搜索熱度較高的50個國內AI風險相關輿情案例中，超1/5與AI造謠有關。AI工具普及的同時，也帶來造謠成本大幅降低的問題，且增加了謠言的真實感。僅需輸入簡單的關鍵詞，有AI軟件便可通過網絡抓取相關素材，自動生成包含時間、地點、人物和事件等要素的文本或視頻，呈現出看似真實的“新聞”內容。AI大模型的接入，也可能出現更難識別以社交機器人爲代表的新型網絡水軍的情況。用AI“批量化”生產謠言，甚至已成爲一種牟利手段，警方曾通報某MCN機構，組織團隊利用AI工具批量生成虛假消息，單日產量高達4000至7000篇，日均收入超過1萬元。
專家則提到，在通過技術和法律手段治理AI造謠亂象的同時，公衆從源頭參與AI治理是長期解決方案。
採寫:南都記者 陳袁
案例
“AI換臉”成了生意 以假亂真騙了家人
專家:AI可檢測AI，應多元主體協同打擊涉AI犯罪
隨着AI技術發展，AI換臉圖片和視頻成爲熱門現象，娛樂之餘，讓人真假莫辨，風險與困擾也不少。記者近日調查發現，互聯網上，不僅有人隨意兜售AI合成軟件，“手把手教學”，使得製作生成AI“克隆人”視頻的技術成了一門生意。更有甚者，濫用AI換臉技術走上了違法犯罪的道路。
幾元到上百元不等可“AI換臉”
濫用技術實施詐騙屢屢發生
“視頻裡在海邊遊玩的不是我，而是我的數字人分身。你跟着我操作，就能定製自己的數字人，輕鬆實現視頻流量起號……”在社交平臺、短視頻平臺上，類似以AI數字人、“克隆人”視頻引流的帖子有很多。
記者就製作AI數字人的流程諮詢一博主。該博主在之前發帖中明確表明“不收費”“不用花錢”，但提出要加入羣聊成爲會員，他會在羣內發佈相關操作指南和課程。
此外，在多個網購平臺、二手交易平臺，AI“克隆人”商品也可以隨意買到。記者在某網購平臺檢索“AI換臉”，顯示搜索結果不存在，但更換關鍵詞爲“AI換人臉視頻軟件”後，立刻出現多款此類商品，價格從幾元到上百元不等。
記者點進一款名爲“AI數字人生成軟件短視頻製作對口型形象聲音克隆定製AI分身”的商品，諮詢店主後對方回覆稱2分鐘左右就可以生成好。下單後客服會一對一服務學會使用爲止。隨即，對方發來一個標價爲98元的下單鏈接，稱這是購買該軟件的月卡，可以製作約30秒以內的視頻32個，“短視頻養號一個月足以快速起號”。
除了直接售賣AI換臉技術外，還有人瞄準了AI“克隆人”的不法“商機”。濫用AI換臉技術行不法之實的事件屢有發生。
據辦案民警介紹，一些不法分子利用AI技術，將他人的臉換成熟人或親人的臉，冒充詐騙對象的重要關係人，通過合成視頻或照片來“以假亂真”，擾亂被詐騙對象的視線進而實施詐騙。“如果通過AI換臉技術編造險情、災情等，還有可能構成編造、故意傳播虛假信息罪。”北京盈科(上海)律師事務所數智化建設委員會副主任李悅舉例說，前一陣子的“西藏小男孩被埋圖”，雖然使用的AIGC技術不是深度合成AI換臉，但也是使用AI技術。據瞭解，該行爲人已被追究行政責任。如果其情節更嚴重的話，或構成編造、故意傳播虛假信息罪。
明確AI應用範圍和法律邊界
對AI生成內容進行標識
隨着AI合成技術的廣泛應用，我們又該如何防範AI深度合成音視頻侵權甚至犯罪的問題呢?中國網絡空間安全協會人工智能安全治理專業委員會專家薛智慧表示，從技術角度來說，其實可以利用AI技術來對抗跟檢測AI。當前也有一些典型的AI技術，能夠對這些圖片或者音視頻進行檢測，來判斷或者分析這些圖片是否後期加工和合成的。
“濫用AI技術實施犯罪行爲往往與傳統犯罪行爲(如電信詐騙、傳播網絡謠言等)相結合，需要公安機關聯合各大網絡平臺採取更爲直接、有效的治理措施。”北京航空航天大學法學院副教授趙精武說。
爲此，他建議構建多元主體協同治理的體系架構:公安機關與網信、工信等部門聯動執法，全方位、全環節整治和打擊涉AI犯罪活動和網絡黑灰產業鏈；執法部門同步更新監管技術，推動人工智能技術在刑事偵查等領域的應用，進而更高效、更精準地打擊濫用AI犯罪活動；網絡平臺積極落實平臺主體責任，積極配合執法活動，嚴格落實網絡實名制和黑名單制度，嚴防各類犯罪行爲人通過更換賬號登錄方式躲避平臺監管。
李悅建議，立法方面，需明確定義深度合成技術的應用範圍和法律邊界，細化平臺、技術提供商、內容製作者及用戶的法律責任。同時，加大對利用AI技術實施犯罪行爲的刑事處罰力度，並完善針對AI合成視頻的證據規則，明確其法律效力。
“技術方面，推廣AI合成視頻的檢測工具和溯源技術，研發高效、低成本的檢測服務，並向公衆開放。利用水印技術對AI生成內容進行標識，便於追蹤和識別。”李悅說，此外，可以建立AI企業備案制度，加強對企業資質、數據安全和算法透明度的監管。
綜合法治日報、央視新聞客戶端
製圖:李思萌(即夢AI) 何欣