字節對MoE模型訓練成本再砍一刀成本可節省40%

財聯社3月10日電，字節豆包大模型團隊官宣開源一項針對MoE架構的關鍵優化技術，可將大模型訓練效率提升1.7倍，成本節省40%。據悉，該技術已實際應用於字節的萬卡集羣訓練，累計幫助節省了數百萬GPU小時訓練算力。

字節對MoE模型訓練成本再砍一刀 成本可節省40%