賽道Hyper | 騰訊混元開源Hunyuan-A13B：1張AI卡搞定

作者：周源/華爾街見聞

6月27日，騰訊混元宣佈開源首個混合推理MoE（專家混合模型：Mixture of Experts）模型Hunyuan-A13B，同時發佈ArtifactsBench和C3 - Bench兩個新數據集，爲大模型領域的發展提供了新的技術資源和評估工具。

Hunyuan-A13B模型總參數爲800億（80B），激活參數130億（13B），這樣的參數配置在推理效率上有一定優勢。

對比同等架構的開源模型，以常見的Transformer架構模型爲例，Hunyuan-A13B在處理相同規模任務時，推理速度提升明顯，計算資源消耗相對較低。

作爲首個開源的13B級別MoE混合推理模型，在多個業內權威數據測試中，該模型展現出一定的通用能力，特別是在Agent工具調用和長文處理方面表現出特色，這使其在實際應用場景中具備差異化競爭力。

騰訊混元通過構建多Agent數據合成框架，提升Hunyuan-A13B的工具調用能力。

該框架整合了MCP（大模型上下文協議）、沙箱、大語言模型模擬等多種環境，並運用強化學習機制，讓Agent在不同環境中進行學習。

在旅遊場景中，用戶輸入“規劃從成都出發的川西遊行程”指令，模型能調用地圖搜索工具獲取路線信息，調用酒店預訂平臺篩選合適住宿，調用天氣查詢工具瞭解行程期間天氣，最終輸出一份包含每日行程安排、交通方式、住宿推薦、景點介紹的詳細行程規劃。

在數據分析任務中，面對某電商平臺的銷售數據，模型可調用Python編碼工具，做數據清洗、統計分析，並生成包含圖表的excel銷售分析報告，滿足用戶在不同場景下的複雜任務需求。

與部分僅具備單一工具調用能力的模型相比，Hunyuan-A13B的多工具協同調用能力，能更好地解決實際問題。

面對大模型長文處理的難題，Hunyua-A13B支持256K原生上下文窗口。

在學術領域，處理上萬字的學術論文時，模型可以準確提煉論文核心觀點、梳理研究方法和實驗結果；在法律行業，分析複雜的法律條文及案例卷宗，能快速總結法律要點、關聯相關法條；在商業領域，解讀長篇商業報告，可精準提取關鍵數據和市場趨勢信息。

在實際測試中，與一些上下文窗口較小、處理長文容易出現信息遺漏的模型相比，Hunyuan-A13B在一定程度上緩解了長文推理中上下文丟失和信息依賴的問題，爲相關領域的應用提供了更可靠的技術支持。

Hunyuan-A13B的開源對開發者較爲友好。

個人開發者在一定條件下，使用1張中低端GPU卡，如NVIDIA GeForce GTX系列顯卡，即可完成部署。

目前，模型已接入開源主流推理框架生態，支持多種量化格式，包括INT4、INT8等。在相同輸入輸出規模下，其整體吞吐能力達到前沿開源模型的2倍。

開發者可以通過Github和Huggingface等開源社區獲取模型，騰訊雲官網也上線了模型API，方便快速接入部署。

若Hunyuan-A13B模型，結合自身業務需求，在短時間內開發出了智能文檔處理應用，極大降低了開發者使用模型進行二次開發和應用創新的門檻。

在Hunyuan-A13B的研發過程中，騰訊混元團隊在預訓練和後訓練環節採用了新的技術方法。

預訓練階段，使用20萬億高質量網絡詞元語料庫，覆蓋科學、技術、文化等多個領域，提升模型的通用知識儲備。

同時，團隊構建適用於MoE架構的Scaling Law（規模化法則）聯合公式，完善相關理論體系，爲模型架構設計提供量化指導，這一成果爲後續MoE模型的研發提供了重要參考。

後訓練階段，採用多階段訓練方式，針對不同能力提升需求，運用不同訓練策略和數據；在推理能力訓練階段，通過大量邏輯推理案例數據，提升模型的邏輯分析能力；在創作能力訓練階段，使用文學創作、文案撰寫等數據，增強模型的文本創作水平，最終平衡提升模型的推理、創作、理解等能力。

騰訊混元同步開源的ArtifactsBench和C3 - Bench兩個數據集，填補了行業評估標準的部分空白。

ArtifactsBench包含1825個任務，覆蓋網頁開發、數據可視化、遊戲開發等九大領域，按難度分級，用於評估模型的代碼生成能力。

通過該數據集，開發者可以更全面、準確地瞭解模型在代碼編寫方面的優勢與不足。

C3-Bench針對Agent場景模型，設計1024條測試數據，聚焦規劃工具關係、處理隱藏信息、動態路徑決策等挑戰，幫助發現模型在該場景下的能力短板，爲模型優化提供參考。

這兩個數據集的發佈，爲行業提供了更專業、更具針對性的評估工具，有助於推動大模型評估體系的完善。

目前，Hunyuan-A13B已在騰訊內部400多個業務中應用，日均請求量達1.3億次，在實際業務中得到一定規模的使用。

比如在騰訊的智能客服系統中，該模型提升了客服回答的準確性和效率；在內容創作輔助工具裡，幫助創作者生成更優質的文案。

未來，騰訊混元計劃推出從0.5B（5億）到32B（320億）的dense模型，以及激活13B（130億）的MoE模型，適配企業和終端設備的不同需求。

同時，還將持續開源圖像、視頻、3D等多模態基礎模型及插件模型，豐富大模型生態，爲行業發展注入更多活力。

騰訊混元此次開源Hunyuan-A13B模型及相關數據集，爲開發者提供了新的模型資源和評估工具，有助於推動大模型技術的創新和應用。

開源數據集的發佈，也爲行業建立更完善的評估標準提供了支持。在騰訊研發過程中的技術方法，爲其他團隊開展相關研究提供了可參考的經驗，有望促進大模型領域技術的共同發展。