字節開源MoE關鍵優化技術，模型訓練成本省40%、內部萬卡集羣已部署

藍鯨新聞3月10日訊 3月10日，字節豆包大模型團隊官宣開源一項針對MoE架構的關鍵優化技術COMET，可將大模型訓練效率提升1.7倍，成本節省40%。該技術已實際應用於字節的萬卡集羣訓練，累計幫助節省了數百萬GPU小時訓練算力。據介紹，COMET支持業界絕大部分主流大模型，可以像插件一樣接入已有的MoE訓練框架，也可以與DeepSeek開源的DualPipe方案聯用以更大壓縮訓練成本。（藍鯨新聞 朱儁熹）