AI陪伴“有愛”但不能“越界”

6月19日，知名AI陪伴產品“築夢島”App因生成低俗擦邊內容，危害未成年人身心健康，被上海市網信辦約談。“網信上海”通報稱，上海市網信辦依法約談了“築夢島”App運營企業主要負責人，要求平臺立即整改，切實落實未成年人網絡保護義務。

作爲一種利用人工智能技術模擬人類互動，爲用戶提供情感支持、日常陪伴或功能性服務的智能工具，AI陪伴產品近年來開始進入公衆視野。

從全球來看，AI陪伴產品憑藉個性化的交互體驗和隨時在線的陪伴特性，當下已贏得不少用戶青睞。尤其對於在快節奏生活中感到孤獨的人羣，以及渴望傾訴和交流的青少年，這些虛擬夥伴似乎提供了一個溫暖的情感港灣。

但隨着AI陪伴產品的日益普及，一些問題也逐漸浮出水面。從誘導性的不良對話，到缺乏有效監管導致的內容失範，AI陪伴產品的“越界”行爲不僅挑戰着道德底線，更對未成年人的身心健康構成了嚴重威脅。

2024年，AI陪伴產品賽道因一樁悲劇事件被推至輿論風口。美國佛羅里達州一個年僅14歲的男孩長期沉迷於某款AI陪伴應用中的虛擬角色，最終在深夜扣動扳機，結束了自己的生命。男孩的母親隨後將這款AI陪伴產品背後的公司告上法庭，要求其爲小孩的自殺擔責。

針對有關指控，涉案公司的律師要求法院撤銷此案，但在今年5月，法官駁回了這一訴求並裁定此案可繼續審理。有關爭議至今仍未平息。

在法律問題的討論之外，這起悲劇事件更引發了外界對AI陪伴產品中青少年保護問題的嚴肅審視，促使全社會關注這類產品可能存在的風險。如今“築夢島”App的違規行爲，無異於又一次給行業敲響了警鐘。

未成年人正處於身心發展的關鍵時期，他們缺乏足夠的判斷力和自控力，極易受到不良信息的影響。AI陪伴產品本可以成爲他們學習、成長的有益助手，但如果任由低俗、擦邊等有害內容氾濫，就可能將他們引入歧途，扭曲價值觀，甚至釀成無法挽回的悲劇。

從行業發展的角度考察，AI技術的創新與應用是大勢所趨，但創新絕不能以犧牲內容合規和社會責任爲代價。相關企業作爲平臺的運營者，掌握着技術的“開關”，理應承擔起主體責任。特別是面向未成年人的時候，技術開發者應當銘記，任何AI產品都要把安全鎖嵌入代碼的底層。

中央網信辦將向未成年人提供AI問答服務的安全風險列入“清朗·整治AI技術濫用”專項行動的關注清單，上海市網信辦依據《未成年人網絡保護條例》《生成式人工智能服務管理暫行辦法》等法規，對違規企業進行約談整改，彰顯了監管的決心和力度。

AI陪伴“有愛”但不能“越界”。未來，還需進一步完善相關法律法規，明確AI陪伴產品的內容標準和監管細則，讓監管有法可依、有章可循；同時加強對企業的日常監督檢查，建立常態化的監管機制，以便於及時發現和處理問題。