別讓DeepSeek成了造謠者的“白手套”

今年2月,一位普通股民在雪球論壇看到一張AI問答截圖:“某公司已投資AI巨頭DeepSeek,股價即將暴漲!”

對於在股市中摸爬滾打、渴望抓住每一個投資機會的股民來說,這無疑是一條極具誘惑的消息。他堅信截圖中的內容,並且興奮地跟風買入,結果次日發現該公司闢謠,股價反而下跌,自己遭受沉重一擊。

這樣的事情並非個例,從“某公司投資DeepSeek”到“涼山山體滑坡”,AI生成的虛假信息正以病毒式速度擴散,這背後存在一條由黑灰產操控的“AI謠言流水線”。

在股市裡,有一種造謠者被稱爲“黑嘴”。他們發佈虛假信息,引誘投資者上鉤,通過養粉薦股後的反向操作收割機構或個人。

現在不少領域的“黑嘴”,就將DeepSeek、豆包等AI工具當做“白手套”。他們利用AI技術的短板,製造謠言並將其包裝成“權威答案”,再通過算法反哺形成閉環,最終收割流量與利益。

第一批用DeepSeek掘金的人,已經在這上面栽了跟頭。

AI淪爲造謠者的“嘴替”

很多虛假信息的背後,是造謠者在有組織、有計劃地進行AI造謠。

此前在DeepSeek、豆包、文心一言、Kimi等AI工具的問答中,慈星股份、華勝天成、並行科技、誠邁科技等多家公司都被描述爲“DeepSeek的投資者”,但事實上這些公司都沒有參與投資。

爲什麼會出現與事實背離的情況?這跟數據投喂有直接關係。

隱藏在網絡背後的造謠者,會利用AI批量生產謠言,比如“慈星股份投資了DeepSeek”等等,堪稱流水線上的“謊言印刷機”。而且造謠者的“效率”非常高,有人一天就能製造幾千篇虛假文章,甚至還出現了一天生成19萬篇虛假文章的造假軟件。

然後,造謠者會操控成百上千個水軍賬號,在多個線上平臺高頻傳播這些造謠信息。他們的最終目的,是讓AI援引大量的虛假信息,充當自己的嘴替。

所以,很多人就會看到AI工具援引虛假信源,給出了錯誤答案。本來有些人對謠言是將信將疑,但看到AI給出的答案後堅信不疑,此時就落入了造謠者製造的圈套,從而栽了跟頭。有人就因爲看到AI回答中有“某某投資品有潛力”等信息,誤以爲發現了財富密碼,結果被割了韭菜。

最可怕的是,造謠者還會將AI給出的回答,再以截圖形式繼續傳播擴散,以誘導欺騙更多人。所以這些AI謠言並非單次傳播,而是“謠言—AI回答—更多謠言”的循環。這種自我強化的閉環,讓謠言像癌細胞般無限增殖。

據南都大數據研究院不完全統計,2024年搜索熱度較高的50個國內AI風險相關輿情案例中,超1/5與AI造謠有關,68%的網民曾因AI生成的“專家解讀”“權威數據”而誤信謠言。

一名受訪者苦笑:“以前不信小道消息,現在連AI都撒謊,我們還能信誰?”

AI謠言帶來的破壞力是巨大的,且不限於資本市場。

前不久,“廣州法院對某汽車品牌L3級自動駕駛追尾事故作出首例判決”的謠言全網傳播,就對該品牌的聲譽和銷售造成打擊,損害企業利益。

在發生公共安全事故時,有人故意製造AI謠言擾亂視聽。這不僅會干擾救援節奏,還容易引發民衆恐慌。當造謠者通過收割流量,社會付出的代價其實是信任的崩塌與秩序的混亂。

AI謠言帶來的危害還是全球性的,世界經濟論壇發佈的《2025年全球風險報告》顯示,“錯誤和虛假信息”是2025年全球面臨的五大風險之一,AI的濫用是這種風險的重要推手。

那麼,AI究竟是如何淪爲造謠者的“嘴替”呢?

AI如何淪爲造謠者的“嘴替”?

雖然AI現在火的發紫,更新換代也非常快,但是仍然存在不少短板。

其中,較爲突出的問題就是語料污染與AI幻覺。

AI大模型的訓練依賴海量數據,但數據的真實性卻無人擔保。中國信通院曾做過實驗,當在特定論壇連續發佈百餘條虛假信息後,主流AI大模型對對標問題的回答置信度,就會從百分之十幾快速飆升。

前不久,紐約大學的研究團隊發表了一項研究,揭示了大語言模型(LLM)在數據訓練中的脆弱性。他們發現,即使是極少量的虛假信息,只需佔訓練數據的0.001%,就能導致整個模型出現重大錯誤,而這個過程的成本極其低廉,僅花費了5美元。

這就像在水庫中注入幾滴毒藥,就能讓水庫裡的每一滴水都帶着謊言的味道,信息體系都會被破壞,堪稱污染AI的“精神投毒”。

這其實暴露了AI的致命缺陷:它很難區分“熱門帖子”和“真實信息”,只認數據權重。它像一面誠實的鏡子,但映射的可能是被篡改的世界。

有的AI爲了完成邏輯自洽,甚至還會胡編亂造。

某AI工具就根據“80後死亡率5.2%”的虛假語料,輸出“每20個80後就有1人死亡”的結論。這種“一本正經地胡說八道”,源於AI大語言模型在編造它認爲真實存在甚至看起來合理的信息。它追求的是邏輯自洽,而非事實正確,這也被稱爲“AI幻覺”。

看來在“開局一張圖,剩下全靠編”這件事上,AI比人類還擅長。

技術是否有罪本身是個有爭議的話題,但人性的貪婪一定是AI謠言的罪魁禍首。

傳統造謠需要僱傭寫手,而AI將成本壓縮至近乎爲零且效率極高,利益極爲豐厚。2024年南昌警方查處某MCN機構,其負責人王某某通過AI工具每日生成虛假文章4000-7000篇,內容涵蓋“某公司暴雷”“某地災情”等,最高峰的時候每天能生成4000-7000篇,每天收入超1萬元。

某黑產從業者聲稱:“用AI造謠就像開印鈔機,團隊3個人一個月能賺50萬。”更諷刺的是,他們甚至開發了“謠言KPI系統”:每篇假新聞根據傳播量獎勵造謠者,形成“多勞多得”的激勵機制。

在利益的趨勢和AI的加持下,造謠似乎從“作坊式的小打小鬧”進化成“工業化生產”。

儘管《互聯網信息服務深度合成管理規定》要求標註AI內容,但一些AI工具和平臺在這方面仍有所欠缺。有些造謠團伙發佈AI生成的虛假信息時,某平臺僅彈出“請遵守法律法規”的提示,點擊“確認”後仍可正常發佈。

當越來越多的人,被捲入這場AI造謠形成的虛假信息漩渦,單純譴責技術已無濟於事。唯有技術防禦、平臺責任與法律制裁三管齊下,才能斬斷這條“謊言流水線”。

真相與謠言,如何對決?

首先,數據源引用和AI檢測是必須要重視的。

要減小謠言發生的概率,AI工具就要嚴格檢測數據的來源和真實性。據悉,豆包的數據源主要依賴自有業務數據,佔比50%-60%;外採數據佔比爲15%-20%。由於質量不確定性,豆包在投喂合成數據時較爲審慎。

另外,豆包也公開強調“不使用任何其他模型數據”,這也是確保數據來源的獨立性、可靠性、可控性。

用“魔法打敗魔法”,即用AI檢測AI生成的內容,也不失爲一種有效的控制謠言的辦法。

國內外已有多個團隊,正在投入開發AI生成內容檢測技術。比如,騰訊混元安全團隊朱雀實驗室研發了一款AI生成圖片檢測系統,通過AI模型來捕捉真實圖片與AI生圖之間的各類差異,最終測試檢出率達95%以上。

國外的Meta創建了一個系統,可以在AI生成的音頻片段中嵌入名爲“水印”的隱藏信號,有助於在網絡上檢測AI生成的內容。

未來,DeepSeek、豆包、文心一言、Kimi等AI工具,還是要通過AI技術比如自然語言處理(NLP)技術,分析數據的語義、邏輯結構,識別文本中的矛盾、不合理表述,儘量避免數據投喂中涌入虛假信息。

其次,內容平臺作爲信息傳播的重要渠道,要擔負起“信息守門人”的責任。

抖音、微博、快手、小紅書等平臺,已經開始強制添加“本內容由AI生成”的水印,轉發時保留標識。今日頭條在謠言治理上,着重建設了三個方面的能力,包括謠言庫、權威信源庫以及專業審覈團隊。

另外,咱們用戶自己也要學會辨別虛假信息,加強防範意識。

對於AI給出的回答,我們不要全盤接收,而是要追問具體細節,讓AI的回答更具可信度,從而判斷回答是否存在幻覺‌,比如當AI聲稱“某股票將暴漲”時,要進一步追問“數據來源有哪些”。

另外,交叉驗證信息也是一個有效的方法,也就是要通過多種渠道驗證答案的準確性。此前有“某地地震預警”的AI謠言引發恐慌,但有網民通過對比氣象局、地震臺官網數據,迅速識破虛假信息。‌

最後,相關法律也要跟上。

《生成式人工智能服務管理暫行辦法》已經要求數據來源合法化,並且明確了“不得生成虛假有害信息”的紅線,但是當前法律法規對“AI投喂”的問題仍然存在空白,需要進一步優化。具體而言,法律需要在“投喂者如何打造語料”“語料的真實性”“投喂的目的”等環節上,進行相關管制。

結語

對於大衆而言,AI應是“真相守護者”,而非“謊言擴音器”。當技術淪爲貪婪的幫兇,我們需要的不僅是更聰明的AI,而是更清醒的人性。

從語料淨化,到平臺和法律的同步整治,這場“AI打假”必須要打贏。AI工具、內容平臺與監管者要合力構建“共治防火牆”,讓謠言困在籠子裡。

這樣一來,AI才能真正成爲照亮真相的火炬,而非造謠者的“白手套”。