百度智能雲：點亮崑崙芯三代萬卡集羣

來源：環球時報

【環球時報綜合報道】近日，百度智能雲成功點亮崑崙芯三代萬卡集羣，這也是國內首個正式點亮的自研萬卡集羣。

從算力上看，超大規模並行計算能力可實現訓練效率躍升，萬卡集羣可將千億參數模型的訓練週期大幅降低，滿足人工智能（AI）原生應用快速迭代的需求。同時也能支持更大模型與複雜任務和多模態數據，支撐Sora類應用的開發。此外，萬卡集羣能夠支持多任務併發能力，通過動態資源切分，單集羣可同時訓練多個輕量化模型，通過通信優化與容錯機制減少算力浪費，實現訓練成本指數級下降。通過自研芯片和大規模集羣的建設，百度不僅解決了自身算力供應的問題，還爲整個行業提供了新的思路和方向。

隨着國產大模型的興起，萬卡集羣逐漸從“單任務算力消耗”到“集羣效能最大化”過渡，通過模型優化、有效訓練率提升、動態資源分配等手段，智能調度任務，將訓練、微調、推理任務混合部署，從而提升集羣綜合利用率，降低單位算力成本。2024年9月升級的百度百舸AI異構計算平臺4.0（簡稱“百舸平臺”），在萬卡集羣的建設中發揮了至關重要的作用。

首先，突破硬件擴展性瓶頸，如卡間互聯的拓撲限制，避免通信帶寬成爲瓶頸；同時，圍繞芯片及集羣功耗，基於萬卡規模常規方案功耗可達十兆瓦或更高，採用創新性散熱方案，從而解決萬卡集羣的能效與散熱問題；完善模型的分佈式訓練優化，採用高效並行化任務切分策略，訓練主流開源模型的集羣MFU提升至58%；在提升穩定性方面，提供容錯與穩定性機制，避免由於單卡故障率隨規模指數上升而造成的萬卡集羣有效性大幅下降，保障有效訓練率達到98%；最後，針對機間通信帶寬需求，建設超大規模HPN高性能網絡，優化拓撲結構，從而降低通信瓶頸，帶寬有效性達到90%以上。

百舸4.0構建了十萬卡級別的超大規模HPN高性能網絡，針對跨地域通信中的高延遲問題，通過優化的拓撲結構、多路徑負載均衡策略及通信策略，實現了幾十公里的跨地域通信。在通信效率上，百舸通過先進的擁塞控制算法和集合通信算法策略，實現了完全無阻塞，並通過10ms級別超高精度網絡監控，保障了網絡的穩定性。

在多芯混訓方面，百舸將不同地點、不同規模的異構算力進行統一管理，構建起多芯資源池，當業務提交工作負載時，百舸可自動進行芯片選型，最大化地利用集羣的剩餘資源，實現高達95%的萬卡多芯混合訓練效能。

日前，花旗銀行發佈研報表示，DeepSeek、百度等中國模型展現出高效和低成本優勢，將有助於加速全球人工智能應用開發，並引發更多技術創新，推動2025年AI應用的拐點。中國工程院院士、清華大學計算機系教授鄭緯民也表示，當下構建國產自主萬卡系統充滿挑戰，但“至關重要”。（李然）