螞蟻迴應新模型訓練成本降低：基於不同芯片持續調優，會逐步開源

IT之家 3 月 24 日消息，據新浪科技報道，針對有關螞蟻“百靈”大模型訓練成本有關消息，螞蟻集團迴應稱，公司針對不同芯片持續調優，以降低 AI 應用成本，目前已經取得一定進展，也將逐步通過開源分享。

IT之家附事件背景：

近日，螞蟻集團 Ling 團隊在預印版 Arxiv 平臺發表技術成果論文《每一個 FLOP 都至關重要：無需高級 GPU 即可擴展 3000 億參數混合專家 LING 大模型》，宣佈推出兩款不同規模的 MoE （混合專家）大語言模型 —— 百靈輕量版（Ling-Lite）與百靈增強版（Ling-Plus），並提出一系列創新方法，實現在低性能硬件上高效訓練大模型，顯著降低成本。

百靈輕量版參數規模爲 168 億（激活參數 27.5 億），增強版基座模型參數規模高達 2900 億（激活參數 288 億），性能均達行業領先水平。實驗表明，其 3000 億參數的 MoE 大模型可在使用國產 GPU 的低性能設備上完成高效訓練，性能與完全使用英偉達芯片、同規模的稠密模型及 MoE 模型相當。