華爲發佈準萬億大模型

【華爲發佈準萬億大模型】近日發佈的盤古Ultra MoE模型,參數規模7180億,全流程在昇騰AI計算平臺上訓練成功。從模型架構的創新設計到訓練方法的深度優化,研發團隊解決了超大規模MoE模型訓練難題,實現長期穩定訓練與效率大幅提升。盤古Pro MoE大模型,參數規模720億,在權威榜單SuperCLUE中位居前列。