OpenAI 新推理模型被曝產生更多幻覺，性能提升卻伴隨更多錯誤

IT之家 4 月 19 日消息，OpenAI 最新發布的 o3 和 o4-mini 模型在多個方面展現出業內領先的水準，不過，這兩款模型依然無法擺脫“幻覺”問題 —— 甚至比以往發佈的模型更加嚴重。

據外媒 TechCrunch 今日報道，幻覺問題一直是生成式 AI 發展過程中最難解決的挑戰之一，即使是目前性能最優秀的模型也難以完全避免。過去，每一代新模型在降低幻覺頻率方面通常都會取得小幅進步，但 o3 和 o4-mini 卻打破了這一趨勢。

根據 OpenAI 的內部測試，作爲推理模型的 o3 和 o4-mini，出現幻覺的頻率不僅超過了前代推理模型 o1、o1-mini 和 o3-mini，甚至還高於傳統“非推理”模型（IT之家注：如 GPT-4o）。

OpenAI 在針對這兩款模型發佈的技術報告中表示：“要弄清楚隨着推理模型規模的擴大，幻覺問題爲何反而變得更加嚴重，還需要進一步研究。”報告指出，儘管 o3 和 o4-mini 在編程和數學等任務上的表現優於以往，但由於模型輸出的答案總量增加，導致其既能作出更多準確判斷，同時也不可避免地出現更多錯誤甚至幻覺。

在 OpenAI 設計的內部基準測試 PersonQA 中，o3 回答問題時出現幻覺的比例達到 33%，幾乎是前代推理模型 o1 和 o3-mini 的兩倍，後者的幻覺率分別爲 16% 和 14.8%。在同一測試中，o4-mini 的表現更差，幻覺率高達 48%。

第三方機構 Transluce 的測試也印證了這一問題。這家非營利 AI 研究實驗室發現，o3 在回答問題時經常會憑空捏造出某些“過程操作”。例如，Transluce 曾觀察到，o3 聲稱自己在一臺 2021 款 MacBook Pro 上“在 ChatGPT 之外”運行了代碼，並將結果複製進了答案中。實際上，雖然 o3 擁有一部分工具訪問權限，但並不具備執行這種操作的能力。

OpenAI 發言人 Niko Felix 表示：“解決幻覺問題是我們一直在推進的重點研究方向，我們也在不斷努力提升模型的準確性與可靠性。”