造假黑灰產賬號超過1000萬個，社交平臺正經歷一場虛假信息攻防戰

21世紀經濟報道記者肖瀟 北京報道

乍一看，手機屏幕裡的娜塔莎是一位接地氣的外國博主——31歲，鵝蛋臉，定居中國的俄羅斯人，喜歡分享俄羅斯美食。她的賬號“娜塔莎進口食品”有二十萬粉絲，看起來是無數內容電商中的一員。

但娜塔莎並不存在。她的臉是AI換出來的，故事是編的，身份是虛構的，只有變現的錢實實在在進了運營者的口袋裡。

像娜塔莎這類編人設和故事的虛假賬號，正在社交平臺繁殖。隨着AI技術降低造假門檻，黑灰產進一步藉助僞裝、搬運、拼貼等手段大規模擴張，各大平臺都在經歷一場信息攻防戰。

在近日小紅書舉辦的“打擊虛假”治理開放日上，治理團隊指出，虛假內容與黑灰產高度關聯。小紅書自2024年11月啓動了最嚴一輪黑灰產治理專項，處置了虛假筆記320萬篇、虛假人設賬號1萬個、虛假低質AIGC筆記60萬篇；一共封禁了批量造假的黑灰產賬號超1000萬個。

靠“編料”變現，已經成爲黑灰產在社交平臺上的主要運作方式。從操作流程到具體手法，這套模式如今已高度標準化、組織化。

從平臺的上游視角看，整條路徑通常分爲三步：第一步是起號養號，打基礎；第二步是博取信任，建立更深的關係；第三步纔是真正的“收割”環節，實現變現。

據小紅書黑灰產賬號治理負責人必行介紹，目前平臺上典型的養號方式主要有五類：

1.騙互動，比如用“挑戰關注全國14億人”這類噱頭吸引用戶關注，但賬號並不會回關；

2.博眼球，利用社會熱點或網絡爭議話題炒作引流，比如假冒明星同學；

3.同質內容造號，通過低成本內容，批量生成風格雷同的賬號，快速起量；

4.內容搬運，大量搬運視頻，製作影視切片，吸引瀏覽；

5.AIGC生成，使用AI生成人物、動物或視頻等素材。

賬號完成初步起號後，有的會進一步包裝自己，通過虛構留學、金融等專業背景，塑造“可信賴”的內容人設，獲取用戶信任。有的賬號則聲稱掌握“內部信息”或“隱藏渠道”，誘導用戶留下聯繫方式，隨後將這些信息出售給第三方中介；也有賬號以“測評”“內幕曝光”爲名，進行惡意攻擊，擾亂正常商業競爭秩序。

最終的牟利，許多會流向灰色業務需求，例如假鞋、高仿衣服、“黑五類”產品（增高、減肥、豐胸、醫療器械、藥品）等。

而圍繞這些虛假內容建立起來的黑灰產體系還在不斷進化，前述負責人指出，目前發現的兩個新問題是隱蔽性更強了，組織分工也更精細了。

一方面，違規行爲正從公域逐步轉向私域。從原先的筆記、用戶主頁等公開區域，轉移到羣聊、私信等更難監控的空間。“有的賬號筆記本身沒有問題，但會在頁面掛載羣鏈接，羣名設置成‘知乎看後續’‘進羣免費看’等誘導性內容，尤其是用各種各樣的變體字，規避平臺識別。”前述負責人說。

除此之外，內部分工也變得更加精細。現在黑灰產鏈條可以清晰劃分爲三層：上游是業務來源，中游有專門的服務提供商，下游纔是具體的執行人員。不同執行賬號也有明確分工，有的負責發佈筆記引流；有的負責在評論區留下羣口令；有的專門負責建羣、維護運營，實現流水化作業。

在嚴密的分工下，每一環的工具都在迭代。比如，中游服務商已能提供AI工具，支持模擬人工養號、定時發佈、一鍵複製爆款筆記。甚至出現了“衆包平臺”，通過“積分牆”發佈任務，用戶掃碼後即可領取預設筆記內容，發佈後便可領取獎勵，進一步降低了造假門檻。

“黑灰產，其實就是在批量製造虛假內容的團伙。”前述負責人表示，這些賬號通過虛構內容吸引流量，不僅破壞了平臺真實的底色，擠壓了優質內容的空間，也損害了用戶體驗和正常的商業秩序。所以，打擊黑灰產是平臺實現可持續發展的必要一環。

平臺治理的核心，在於從源頭遏制虛假內容的滋生。小紅書虛假內容治理負責人蒂法介紹，目前小紅書的治理重點集中在三個方面：虛假不實內容、虛假人設、AIGC生成內容。

在AIGC技術爆發式發展的當下，虛假低質的AIGC內容成爲平臺治理的重中之重。小紅書一方面加大對AIGC識別模型的研發投入，推動對AI生成內容的主動識別與標註；另一方面，通過降低此類內容的曝光率，控制其在平臺上的擴散風險。

今年3月，國家網信辦等四部門聯合發佈《人工智能生成合成內容標識辦法》，傳播平臺需要確保有AI標識。21記者此前測試也發現，目前主流平臺已普遍要求用戶主動申明內容是否由AI生成。但僅靠用戶自覺遠遠不夠，平臺自身的識別和響應能力亟需提升。

21記者通過交流了解到，小紅書目前的AIGC識別標籤工作由虛假內容團隊主導推進。團隊負責人蒂法表示，AI圖像的識別準確率已相對較高，一旦系統判定內容爲疑似AI生成，且無明顯社會危害，將加註AI標識；如存在誤導、違規或其他不良影響，則會被限流處理。

不過蒂法也提到，識別AIGC的難度在於“道高一尺魔高一丈”。平臺一旦總結出某類AIGC特徵，有可能很快就被有心者繞過。

此外，爲提升對虛假信息的整體防禦能力，小紅書搭建了“真實信源庫”和“謠言庫”，並建立“前置攔截—事中追蹤—分析回掃”的全鏈路治理機制。在識別虛假人設方面，平臺運用賬號關係圖譜與內容分析，結合行爲特徵判斷可疑賬號，進行精準打擊。

針對黑灰產賬號的治理，也從識別和處置兩個維度同步推進。必行介紹，同質化發帖是黑灰產賬號的一大特徵，識別環節由大模型學習賬號、筆記、評論、文本等多維數據之間的相似度，發現高危賬號後，平臺會凍結賬號的實名認證，要求人臉解凍。

此外，爲鼓勵用戶分享真實體驗，小紅書建立了“真誠分”評估體系，將用戶劃分爲生活分享型UGC用戶、專業創作者和營銷商家三類，從分享動機、內容質量方面判斷賬號是否真誠，從而對真誠的創作者給予流量傾斜。

據介紹，下半年小紅書將在整治虛假營銷方面加大力度，並優化舉報機制，實現“一個頁面一次提交”即可完成舉報，降低用戶參與治理的門檻。