飛槳文心同行,海光DCU率先展開文心繫列模型的深度技術合作
6月30日,文心4.5系列模型正式開源,涵蓋激活參數規模分別爲47B和3B的混合專家(MoE)模型(最大的模型總參數量爲424B),以及0.3B的稠密參數模型。
在海光信息“深算智能”戰略引領下,海光DCU率先展開文心4.5系列模型的深度技術合作,基於飛槳深度學習框架進行高效訓練、推理和部署的適配工作。
文心4.5是百度自主研發的新一代原生多模態基礎大模型,通過多個模態聯合建模實現協同優化,多模態理解能力優秀;具備更精進的語言能力,理解、生成、邏輯、記憶能力全面提升,去幻覺、邏輯推理、代碼能力顯著提升。
依託GPGPU架構的生態優勢,與編程開發軟件棧DTK的領先特性,海光DCU支撐文心4.5預訓練的模型FLOPs利用率(MFU)達47%,在多個文本和多模態基準測試中達到SOTA水平,充分驗證海光DCU高通用性、高兼容度及自主可控的技術優勢。