字節跳動顛覆性技術!MoE訓練效率暴增1.7倍,成本降40%:概念股

025年3月10日,字節跳動豆包大模型團隊宣佈開源COMET技術,這一針對MoE(混合專家)架構的優化方案,將大模型訓練效率提升1.7倍,成本直降40%,已在內部萬卡集羣中累計節省數百萬GPU小時算力。該技術以5/5/5/4的高分入選機器學習頂會MLSys 2025,被評審認爲“具備大規模生產應用潛力”。COMET通過計算-通信重疊技術破解了MoE架構的通信瓶頸,支持主流大模型即插即用,並與DeepSeek的DualPipe方案協同增效,標誌着國產大模型技術進入“降本提效”新階段。

技術突破:如何打破MoE的“算力魔咒”? 1. 通信開銷:MoE訓練的“阿喀琉斯之踵”

傳統MoE架構在分佈式訓練中,專家網絡分佈在多GPU上,需頻繁交換Token數據,導致通信時間佔比高達40%(如Mixtral-8x7B)

1

4

。大量GPU資源因等待遠程數據而閒置,成爲效率與成本的核心痛點。

2. COMET的三大殺手鐗

公司名稱

類別

關聯邏輯

與豆包的直接關係

潤澤科技

算力基礎設施

提供數據中心建設及運營服務,爲豆包大模型提供底層算力支持。

字節跳動是其核心客戶,廊坊潤澤國際信息港爲豆包提供大規模算力基礎設施。

亞康股份

算力基礎設施

爲字節跳動等公司提供算力設備集成及運維服務,保障大模型高效運行。

參與豆包算力基礎設施部署,2024年與火山引擎合作發佈昇騰芯片智能一體機適配豆包生態。

視覺中國

數據服務

海量圖片/視頻素材供應商,爲豆包提供多模態訓練數據。

簽約字節跳動,素材深度接入抖音剪輯工具及豆包大模型訓練體系。

中文在線

數據服務

擁有550萬種數字內容資源,既爲豆包提供文本數據,又通過豆包開發AI生成內容。

旗下Reelshort短劇平臺與豆包結合,提升多語言內容生成效率。

海天瑞聲

數據服務

AI數據標註龍頭,爲豆包提供語音、視覺、NLP多模態訓練數據。

全球首個4D毫米波雷達標註平臺,適配豆包智能駕駛等場景的數據需求。

中科創達

芯片與硬件

與火山引擎共建聯合實驗室,開發端側智能OS,優化豆包在智能終端的部署。

聚焦智能座艙、機器人等場景,賦能豆包在邊緣設備的實時交互能力。

中科藍訊

芯片與硬件

訊龍三代芯片完成與火山方舟MaaS平臺對接,支持豆包翻譯、對話等功能。

FIIL耳機搭載豆包AI功能,TWS芯片市佔率超30%,適配白牌設備快速滲透。

恆玄科技

芯片與硬件

端側AI芯片領軍者,BES2700系列或接入豆包健康監測、語音交互功能。

芯片應用於三星、華爲等頭部客戶,AI可穿戴設備放量將受益豆包生態擴展。

樂鑫科技

芯片與硬件

物聯網芯片供應商,豆包AI玩具等硬件發展帶來芯片需求增長。

芯片支撐智能家居、消費電子等終端設備的AI功能,與豆包硬件生態深度綁定。

全志科技

芯片與硬件

字節跳動AI端側硬件合作方,爲豆包智能體耳機等提供支持。

爲豆包智能硬件(如耳機)提供芯片解決方案,助力邊緣端AI能力落地。

博通集成

芯片與硬件

與奧嘟比合作將豆包融入玩具,拓展芯片應用場景。

AI玩具產品集成豆包大模型,推動智能硬件銷量增長。

掌閱科技

應用場景

字節跳動持股7%,將豆包融入閱讀APP實現個性化推薦。

數字內容庫超5億冊,AI輔助創作工具提升內容生成效率。

洲明科技

應用場景

自研數字人系統接入豆包問答能力,用於智慧城市、會展等場景。

LED顯示與AI結合,打造“硬件+內容+AI”全棧方案。

德生科技

應用場景

自研行業大模型使用豆包作爲通用知識底座。

在社保、政務等領域部署豆包多語言理解能力,提升垂直領域智能化水平。

省廣集團

營銷與流量生態

字節核心代理商,借豆包優化廣告投放效率。

代理TikTok、抖音廣告業務,豆包提升廣告精準度與ROI。

藍色光標

營銷與流量生態

基於豆包開發虛擬主播、智能客服等營銷方案。

服務寶潔、奔馳等客戶,銷博特平臺接入豆包實現文案自動化生成。

天龍集團

營銷與流量生態

字節核心代理商,爲豆包提供推廣服務並優化短視頻投放。

數字營銷收入佔比超80%,與巨量引擎合作緊密,豆包提升廣告轉化效率。

南凌科技

其他協同企業

火山引擎代理商,與字節在數據傳輸領域合作。

提供網絡安全與數據傳輸服務,保障豆包分佈式訓練穩定性。

利歐股份

其他協同企業

旗下利歐數字與字節有數字營銷合作,間接支持豆包推廣。

可能通過廣告投放、內容營銷等場景爲豆包引流。

安凱微

芯片與硬件

早期已對接豆包大模型並實現多語言理解優勢融合。

芯片集成豆包多語言能力,應用於智能家居、物聯網設備等領域。

#A股市場#