字節豆包大模型團隊提出稀疏模型架構UltraMem

據豆包大模型團隊消息，字節跳動豆包大模型Foundation團隊近期提出UltraMem，一種同樣將計算和參數解耦的稀疏模型架構，在保證模型效果的前提下解決了推理的訪存問題。據介紹，該架構有效解決了MoE推理時高額的訪存問題，推理速度較MoE架構提升2-6倍，推理成本最高可降低83%。

本文源自：金融界AI電報