字節跳動Seed團隊發佈擴散語言模型,每秒推理速度2146 tokens

7月31日,字節跳動Seed團隊發佈實驗性擴散語言模型Seed Diffusion Preview。據介紹,其目標是以結構化的代碼生成爲實驗領域,系統性地驗證離散擴散技術路線作爲下一代語言模型基礎框架的可行性。實驗結果顯示,Seed Diffusion Preview代碼推理速度可達到2146 tokens/s,速度相比同等規模的自迴歸模型提升5.4倍。