科大訊飛：大模型訓練與推理均在國產算力平臺上進行，優化效率達85%-95%

金融界2月17日消息，有投資者在互動平臺向科大訊飛提問：你好，字節跳動提出全新的稀疏模型架構 UltraMem，該架構推理速度較 MoE 架構提升 2-6 倍，推理成本最高可降低 83%。從這樣來看，通過算法和模型架構的優化，減少算力需求。想請問公司，公司還一直強調國產算力，這樣的堅持還有意義嗎？公司是不是應該加大力度研究算法與架構優化，以降低對算力的需求？

公司回答表示：1、科大訊飛過去幾年在受限的有限算力資源條件下，關於星火大模型訓練和推理成本效率的持續優化也做了大量投入，和直接使用英偉達卡上開展的各種工程優化不同，科大訊飛選擇了更難的全國產算力路線。從 2023 年 5 月起科大訊飛就聯合華爲先後攻克了萬卡高速互聯組網、計算通信隱藏、訓練推理強交互、高吞吐推理優化以及國產算子優化等一系列難題，將通用大模型、類 o1 的深度推理模型等的訓練效率對標 A100 均從最初的 30%-50%優化達到了 85%-95%以上。隨着國產算力在底層能力上進一步提升，訊飛星火的訓練成本還有較大的下降空間。2、需要特別說明的是，大模型對算力的需求爲訓練和推理兩個方面，而訓練實現的難度遠大於推理。這就是雖然陸續有公司宣佈可以在國產算力平臺上提供大模型的推理服務，但仍只有訊飛星火一家是訓練和推理均在國產算力上進行的，並且僅用 1 萬張 910B 國產算力卡，科大訊飛不僅用比友商少一個數量級的算力取得了大模型研發上的第一梯隊成果，而且做了大量國產算力平臺上的無人區的適配和效率優化，追求國產算力的極致效率，這比在英偉達上的實現更需要技術實力和戰略勇氣。

本文源自：金融界

作者：公告君