國泰海通證券：擴散大語言模型開啓並行新範式 提升生成速度與質量

國泰海通證券發表研究報告稱：擴散大語言模型（dLLM）採用並行生成新範式，其迭代求精與全局規劃的獨特機制，驅動下一階段AI在代碼生成、可控編輯等領域實現能力躍遷：面對日益增長的推理成本與速度要求，dLLM通過並行解碼從根本上改變了當下流行的AR模型順序解碼token-by-token生成文本的模式，在同等生成質量的前提下，實現生成速度數倍提升。

2025年以來，dLLM已從理論探索迅速走向產業實踐：開源大模型領域，LLaDA率先在數十億參數規模上驗證了其與AR模型競爭的潛力，MMaDA則以統一架構展現了其在多模態領域的強大融合能力。商業化大模型領域，InceptionLabs的Mercury與Google的GeminiDiffusion，均以代碼生成爲切入點，在相近的生成質量前提下，實現數倍於AR模型的推理速度。蘋果的DiffuCoder等最新研究，正通過深度解碼分析和原生強化學習RL對齊，進一步探索dLLM在垂直領域的性能極限。

dLLM技術路線繼承了早期非自迴歸（NAR）模型的並行解碼技術，並通過引入更完備的擴散概率框架，從根本上解決了數據分佈不匹配與生成質量不可控等缺陷。dLLM通過一個迭代去噪過程，結合靈活的掩碼與重掩碼策略，在擁有並行生成速度優勢的同時，也能進行全局建模，實現對高質量、高複雜度文本的高速生成。

儘管dLLM展現出巨大潛力，但仍面臨着長文本推理場景下難以兼容KV緩存、總計算量較高以及對齊生態尚不成熟等核心挑戰。學術界與產業界正通過近似KV緩存、智能解碼策略和coupled-GRPO等原生對齊算法積極攻克這些難題。展望未來，dLLM不會完全替代AR模型，而是與AR模型優勢互補，共同構成一個更多元、更繁榮的AI技術生態。dLLM會憑藉其在速度、可控性和全局規劃上的獨特優勢，在代碼生成、藥物發現等垂直領域扮演不可或缺的角色。