撞車DeepSeek NSA Kimi楊植麟署名的新注意力架構MoBA發佈

《科創板日報》19日訊，2月18日，DeepSeek發佈了一篇新論文，提出了一種改進版的注意力機制NSA，有創始人兼CEO樑文鋒親自參與。同一天，月之暗面發佈了一篇主題類似的論文，月之暗面創始人兼CEO楊植麟也是該論文的署名作者之一。這篇論文提出了一種名爲MoBA的注意力機制，據介紹，MoBA是“一種將混合專家（MoE）原理應用於注意力機制的創新方法。”該方法遵循“更少結構”原則，並不會引入預定義的偏見，而是讓模型自主決定關注哪些位置。