真相來了！網傳“某醫院院長客死他鄉”系AI造謠
央視網消息：粉碎謠言，真相來了。近日，公安部網安局公佈了一起網絡謠言典型案例，該謠言中出現了“某醫院前院長未得到及時救治”“客死他鄉醫院走廊”等抓人眼球的內容。但是，上海警方調查後發現，這些內容竟然都是AI工具生成的。
前不久，上海警方在網絡巡查時發現一則題爲“華山醫院前院長張明遠因闌尾炎未得到及時救治，客死他鄉醫院走廊長椅”的消息在網絡傳播，引發了廣泛的關注。
上海市公安局靜安分局網安支隊民警 張帆：這個消息在發佈之初可能點擊寥寥，但是在之後經過微信羣的層層傳播，經過了大概10個小時，因爲正好是晚上的時候，然後就大肆傳播。
爲了覈實該消息的真實性，上海警方迅速展開調查工作，經查，華山醫院根本沒有名爲“張明遠”的前院長，也沒有同名員工，另外，發佈該內容的也並不是賬號註冊者本人。
上海市公安局靜安分局網安支隊民警 張帆：註冊者是因爲通過兼職把自己的賬號註冊完之後交給他人使用。
警方深入調查發現，所謂“華山醫院前院長客死他鄉”的不實信息是某自媒體工作室所發佈，實際運營者爲王某某、郭某某、石某某等3人。
據瞭解，王某某等人爲了快速增加賬號粉絲的數量，每天在網絡上查找各種熱點事件和消息，通過向AI工具輸入關鍵詞，自動生成文章，在未經覈實的情況下就在自己控制的賬號上發佈。
上海市公安局靜安分局網安支隊民警 張帆：他利用AI批量生成一些不實信息，然後這些不實信息再通過他購買到的一些所謂的網絡小號，他控制了大概有500餘個自媒體賬號，然後通過這500餘個自媒體賬號，一共發佈了大概有10餘萬條的不實信息，通過這些製造一些爆款內容，然後增加這些小號的瀏覽量，然後最終獲取那些流量的目的。
通過濫用AI技術，一條包含“知名三甲醫院”“前院長”“客死他鄉”等吸引眼球的謠言信息被王某某等人拼湊出來併發布，僅24小時之內，相關謠言的不同版本就在網上被大量傳播，造成了惡劣的社會影響。
目前，王某某、郭某某、石某某等3人因涉嫌非法利用信息網絡罪，被上海靜安警方依法採取刑事強制措施，相關違法賬號已被依法封禁，案件正在進一步偵辦中。
AI仿冒名人帶貨多次發生 消費者被誤導
隨着近年來AI深度合成技術的快速發展和應用，網絡上頻繁出現AI造謠亂象。記者調查發現，在網絡上，除了利用AI技術造謠吸粉引流之外，利用AI仿冒社會名人進行帶貨、代言，也成了一些自媒體博主的生財之道。一些消費者被誤導而進入消費陷阱，而這種仿冒的行爲也給被仿冒的名人帶來極大困擾和傷害。
畫面1：那些一個月能輕鬆瘦個10~15斤的人，一定是熬過了這4個時間點，先點贊收藏，以免找不到。
畫面2：可以來試一試我的食譜，評論區打出食譜兩字，我看到了，發您一份。
這是之前在網絡上流傳的一段中國工程院院士張伯禮帶貨的視頻，不管從形象到聲音，視頻中的仿冒張伯禮都非常逼真，普通網民如果僅從畫面來判斷很難分辨真僞，而事實上這些畫面也都是通過AI技術仿冒的。
有過同樣遭遇的還有復旦大學附屬華山醫院感染科主任張文宏，他的形象和聲音也被自媒體博主用AI技術仿冒進行引流帶貨，不少消費者信以爲真而被騙。
北京航空航天大學法學院副教授 趙精武：對於被仿冒的名人而言，這類帶貨現象未經名人本人同意，侵犯了其名譽權、肖像權、個人信息權益等，對於被誤導的消費者而言，在決定購買相關產品時，名人的社會聲譽和口碑肯定是他購買該物品的重要考量因素之一。尤其對於粉絲羣體而言，這一點更加突出。即便商家沒有就產品的質量、場地等作出虛假承諾，但其本身的銷售行爲也已經構成了對消費者的實質性誤導，那就存在欺詐消費者的情形。
據趙精武介紹，如果有消費者被仿冒名人帶貨而誤導消費，可以依據《中華人民共和國消費者權益保護法》的相關規定，針對商家構成的欺詐行爲，消費者可以主張“退一賠三”。
AI深度合成工具開源 仿冒他人“立等可取”
從發佈吸引眼球的謠言信息，到仿冒名人學者、知名企業家，AI技術成了自媒體博主收割流量的工具。網絡安全專家告訴記者，目前網絡上很多AI深度合成的工具都是開源軟件，所以使用起來並沒有門檻，而要仿冒任何一個人的過程也並不複雜。
網絡安全專家 呂碩：分析我們人的面部表情，手部動作，還有我們聲音的聲紋，使用相應的框架去進行克隆識別，根據這些內容生成相應的語態，然後我們來感受這個人的面部表情，以及手部動作，做相應的生成。
網絡安全專家告訴記者，應用這種AI深度合成大模型來製作一個仿冒別人的短視頻，只要有一段聲音、人物清晰的視頻就能操作，而且整個過程僅需5到10分鐘就能完成。
網絡安全專家潘季明告訴記者，目前很多AI大模型採用開源模式的初衷，是共享、協同的創新協作模式，其根本目的是降低創新門檻，避免重複冗餘的開發，加速信息技術的更新迭代。但是，如果被人濫用的話則會帶來嚴重的負面影響，因此他建議開源模型要對使用者進行相應限制。
網絡安全專家 潘季明：從技術角度來說的話可能就是說，能不能在發佈開源軟件的過程當中，我們對使用者進行一定限制，包括強制化加一些無法去除的水印，以及打上一些原數據上的一些標記。其次能不能說在生成內容的時長上，或者清晰度上做一定限制。
加大懲處力度 網信部門開展專項整治行動
AI技術的發展帶來了新奇體驗和產業進步，與此同時，也成爲不法分子牟取利益的工具。針對AI深度僞造技術濫用亂象，我國相關的法律法規在不斷完善，主管部門也重拳出擊，開展專項整治行動。
今年3月，國家網信辦發佈《人工智能生成合成內容標識辦法》，將於9月1日正式施行，該辦法對於AI生成合成的內容進一步提出剛性約束。
今年4月30日，爲期3個月的“清朗·整治AI技術濫用”專項行動啓動，從強化AI技術源頭治理，加強AI生成合成技術和內容標識管理，推動網站平臺提升檢測鑑僞能力；到聚焦利用AI技術製作發佈謠言、不實信息、假冒他人等突出問題，處置處罰違規賬號、MCN機構和網站平臺。
據中央網信辦6月20日公佈的最新整治情況，專項行動第一階段已經累計處置違規小程序、應用程序、智能體等AI產品3500餘款，清理違法違規信息96萬餘條，處置賬號3700餘個，各項工作取得積極進展。
北京航空航天大學法學院副教授 趙精武：對於提供“一鍵生成仿冒視頻”這些技術服務提供商來說，主要判斷他有沒有履行應盡的注意義務，比如在用戶註冊階段，有沒有以彈窗或者用戶協議字體加粗等方式顯著提醒用戶要合理使用，在生成階段應該增加相應的水印標識、屏蔽敏感信息內容。若沒有履行這些義務，則需承擔相應的侵權責任。同時，技術服務提供商如存在爲犯罪分子提供相應的技術幫助等情形時，還會構成幫助信息網絡犯罪活動罪。
據記者瞭解，目前各地網信部門多措並舉，紮實推進，積極履行屬地管理責任。北京網信辦開設AI技術濫用治理舉報渠道，形成“用戶標記—平臺覈查—聯合處置”工作模式，處置有關舉報26篇。上海網信辦推動標識要求落地示範，組織開展4場法規宣貫和專題交流，覆蓋企業400餘家，屬地內重點企業已基本完成顯式標識規範上線。
另外，各大重點網站平臺也在積極履行主體管理責任，加強AI技術濫用源頭治理。在處置違規AI產品方面，騰訊規範應用程序管理，提高准入門檻，優化巡查機制，駁回、處置違規小程序、應用程序等共計570餘款。在清理違規AI產品教程和商品方面，微博通過策略識別、用戶舉報等多渠道審覈，累計處置違規內容4800餘條，並公佈典型案例。
來源：央視網