AI推理模型提升快到頭了?研究:最快一年內將撞上天花板

5月13日消息,非營利性人工智能研究機構Epoch AI的最新分析顯示,推理類AI模型的性能大幅提升可能已接近極限。報告指出,最快一年內,這類模型的進展速度就可能放緩。

近幾個月來,OpenAI的o3等推理模型在AI基準測試中表現亮眼,尤其在數學和編程能力評估方面大幅領先。這類模型通過增加算力投入提升性能,但代價是任務耗時遠超傳統模型。

推理模型先是用海量數據訓練基礎模型,再運用“強化學習”技術對複雜問題的解決方案進行反饋式優化。

Epoch AI表示,OpenAI等前沿實驗室在推理模型的強化學習階段尚未投放海量算力。但這一現狀正在改變。OpenAI透露,訓練o3模型時的算力投入約比前代模型o1多十倍,且大部分算力都流向強化學習環節。公司研究員丹·羅伯茨(Dan Roberts)近日更透露,未來將把更多算力優先用於強化學習,甚至要超過預訓練階段的算力投入。

不過Epoch AI指出,強化學習的算力投入終有其上限。機構分析師Josh You在報告中解釋說,訓練傳統人工智能模型帶來的性能提升每年大約翻四倍,而強化學習帶來的性能提升則每3到5個月增長十倍。他預計,到2026年,推理訓練的進展速度“可能會與整體人工智能前沿水平趨於一致”。

Epoch AI的結論基於多項假設,並部分引用了人工智能公司高管的公開言論。但報告也強調,除算力外,高昂的研發成本等因素也可能阻礙推理模型的擴展。“如果研發持續需要高昂開支,推理模型的擴展幅度或將低於預期,”Josh You寫道。“算力快速增長或是推動推理模型進步的重要因素,因此值得持續關注。”

對於已在推理模型研發上投入巨資的人工智能行業而言,任何顯示其性能提升可能觸及天花板的跡象都會引發憂慮。研究已表明,這類運行成本極高的模型還存在嚴重缺陷,比如比某些傳統模型更易出現“幻覺”問題。(辰辰)