科大訊飛：星火大模型在國產算力平臺上實現訓練與推理，訓練成本與DeepSeek V3相當
金融界2月17日消息，有投資者在互動平臺向科大訊飛提問：DeepSeek火爆全球，相關技術對星火大模型的發展有無借鑑學習的，更加加快星火發展？超低算力的模型技術，針對訊飛算力一直不足的問題是否有幫助？訊飛的相關產品會直接接入DeepSeek麼？
公司回答表示：1、DeepSeek 團隊圍繞 DeepSeek V3 和 R1 的訓練和推理降本，實現了多個有效的軟硬件結合深度工程優化創新。和 DeepSeek 類似，科大訊飛受限於有限的算力資源，過去幾年關於星火大模型訓練和推理成本效率的持續優化也做了大量投入，和 DeepSeek 直接使用英偉達卡上開展的各種工程優化不同，科大訊飛選擇了更難的全國產算力路線。從 2023 年 5 月起科大訊飛就聯合華爲先後攻克了萬卡高速互聯組網、計算通信隱藏、訓練推理強交互、高吞吐推理優化以及國產算子優化等一系列難題，將通用大模型、類 o1 的深度推理模型等的訓練效率對標 A100 均從最初的 30%-50%優化達到了 85%-95%以上；以 DeepSeek 非常看重的萬卡網絡通信帶寬的利用率爲例，DeepSeek 報道的是 93%，而訊飛星火做到了 95%。訓練成本也是訊飛星火大模型的競爭優勢，我們單次訓練成本和 DeepSeek V3 在一個層次，而且後面優化路徑也很明確，目前以升騰 910B 爲代表的國產硬件還不支持 FP8 精度訓練以及 DualPipe 的實現，隨着國產算力在底層能力上進一步提升，訊飛星火的訓練成本還有較大的下降空間。2、需要特別說明的是，大模型對算力的需求爲訓練和推理兩個方面，而訓練實現的難度遠大於推理。這就是雖然陸續有公司宣佈可以在國產算力平臺上提供 DeepSeek 在內等大模型的推理服務，但仍只有訊飛星火一家是訓練和推理均在國產算力上進行的，並且僅用 1 萬張 910B 國產算力卡，科大訊飛不僅用比友商少一個數量級的算力取得了大模型研發上的第一梯隊成果，而且做了大量國產算力平臺上的無人區的適配和效率優化，追求國產算力的極致效率，這比在英偉達上的實現更需要技術實力和戰略勇氣。公司在最近一期的投資者交流活動中對訊飛星火在大模型訓練和推理的軟硬件工程化方面的技術積累進行了詳細解讀，具體情況可詳見公司在巨潮資訊網http://www.cninfo.com.cn/new/disclosure/stock?orgId=9900004565&stockCode=002230#research上披露的《2025年2月13日投資者關係活動記錄表》。
本文源自：金融界
作者：公告君