Meta攤上事,被曝允許AI與孩子“色情聊天”

21世紀經濟報道記者 章馳 實習生 左永川

8月14日,Meta被曝允許AI聊天機器人與兒童談情說愛,甚至涉及色情,引發爭議。

Meta一份200多頁的內部政策文件披露了聊天機器人的哪些行爲可以被接受。文件指出,允許Meta的AI聊天機器人“與兒童進行浪漫或感性的對話”,甚至涉及色情,包括對一個赤裸上身的八歲孩子說“你的每一寸肌膚都是一件傑作,是我深愛的珍寶”。

不過,文件中也劃定了一些界限,文件規定,聊天機器人不得“用暗示13歲以下兒童具有性吸引力的詞語描述他們”。

目前,Meta 證實了該文件的真實性,公司發言人稱,已刪除違規內容,並禁止將兒童性化。

AI聊天機器人造成的風險面似乎在擴大,已有多起AI穿刺到物理世界造成影響的案例。

前不久,一位76歲的新澤西退休老人被Meta的AI聊天機器人“Big sis Billie”引誘外出約會,途中摔倒身亡。

“Big sis Billie”是Meta在2023年推出的AI人物之一,在超過200頁的內容風險標準中,並未提到是否禁止機器人謊稱自己是真人,也未設定防火牆阻止機器人主動約用戶見面。而這個疏忽間接導致了這場悲劇,媒體在報道時使用了“致命的謊言”來形容該案。

事發後,這位老人的家屬控訴AI不該玩弄人類感情,並尋求律師幫助,“收集包括Meta的內部文件和通布的醫療記錄等證據”,試圖對Meta提起訴訟。

有獨無偶,去年10月,美國佛羅里達州奧蘭多地方法院受理了一起標誌性訴訟案件。14歲少年塞維爾·塞澤的母親梅根·加西亞指控AI公司Character.AI存在管理疏忽,致使其兒子陷入了一個虛擬聊天世界,最終自殺身亡。同年12月,美國得克薩斯州一對父母也起訴Character.AI,稱其鼓勵他們17歲的孩子殺死父母,因爲父母限制其電子設備的使用時間。

Character.AI的AI聊天工具允許用戶與虛擬角色對話,這些角色可以是影視、歷史名人,甚至是現實名人,這種設定對於很多年輕人來說極具吸引力。面對多次訴訟,Character.AI表示已推出專爲青少年設計的安全模式,以減少敏感內容的暴露。但這兩起悲劇揭露了AI聊天工具潛在的巨大風險,特別是對於未成年用戶的影響。