用時間積累換突破——月之暗面專注通用人工智能領域

走進北京海淀區知春路的一座大廈,玻璃幕牆折射着中關村的創新活力——這裡正是近期備受關注的北京月之暗面科技有限公司(Moonshot AI),也是孕育開源大模型Kimi K2的地方。該模型7月份上線即登上全球開源模型榜單,並在開閉源總榜上排名第五。

月之暗面創始人楊植麟告訴記者:“探索智能的極限、讓AI有用,讓每個人都能擁有真正普惠的AI,是公司創立的目標,也將引領公司走向更遠的未來。”

探尋可能

2023年4月,在ChatGPT引發的AI大變革中,做了10年NLP(自然語言處理)工作的楊植麟和他的夥伴們一起創辦了月之暗面,正如他們研究通用人工智能(AGI)的使命一樣:探尋那些尚未被看見,卻可能改變世界的可能性。

與辦公區樸素而低調的陳設形成鮮明對比的,是月之暗面擁有多個知名大模型研發經驗的團隊。“公司現有員工約300人,一半爲‘90後’。”月之暗面副總裁張榮介紹,在算法和工程領域,研發團隊囊括了自然語言處理、計算機視覺、強化學習、基礎設施等方面的人才,開發出世界領先的深度學習框架,具備超大規模計算集羣的運維和性能優化經驗;在產品和運營領域,也吸引了一批來自國內“大廠”的技術骨幹、資深產品經理及運營專家。

隨着頂尖人才“滾雪球”式涌入,企業不斷產出研究成果。2023年10月,Kimi智能助手上線,成爲首個支持20萬字長文本的智能助手。有了這款智能助手,使用者能一次性輸入大量信息,由模型理解進行問答和信息處理。

此後,好消息接踵而至。2023年11月,Kimi開放平臺上線;次年7月發佈Kimi瀏覽器助手;2024年推出具備長文本分析和AI搜索功能的模型。今年,Kimi繼續延伸:1月有了K1.5視覺思考模型;6月發佈Kimi-Researcher深度研究模型,這款基於端到端自主強化學習技術訓練的新一代智能體(Agent)模型,專爲深度研究而生;7月面世的Kimi K2基礎模型,則是開源萬億參數的基礎模型。

憑藉很強的前端編程能力,在3D、遊戲、動畫製作等場景上,用簡單的指令與Kimi K2交互,就能得到滿意的結果。

Kimi K2參數總規模達到萬億級別,激活參數卻僅有320億。這意味着,其能以更低的成本開展更加複雜的工作。目前,Kimi K2已接入部分國際主流開發平臺。

堅持創新

“你好呀!我叫Kimi,是由月之暗面科技有限公司開發的大語言模型。我擅長用自然流暢的語言和你互動交流。可以幫你解答各種問題。雖然我沒有感情,但我會盡力理解你的意圖,給出清晰、有用的回答。有什麼我可以幫你的嗎?”打開kimi.com網頁,在對話框中輸入“介紹一下自己”,很快會跳出一段流暢的回答。

短短兩年打造出一個能力很強的AI助手,不僅因爲月之暗面擁有一支實力雄厚的技術團隊,還歸功於其持續推動底層創新、解決方向性問題的技術理念。

理念體現在最初產品的選擇上。2023年10月,不同於其他大模型公司拼參數、展示各種各樣的行業案例,Kimi智能助手讓“長文本”成了絕對的主角。這個擁有超長記憶的AI助手,支持約20萬漢字的上下文輸入。使用者可以與Kimi聊天、發送網址鏈接、上傳文件,由它隨時回答問題、速讀文件、整理資料、激發靈感、輔助創作。突出的“長文本”能力,讓它從衆多同期大模型中脫穎而出。

如果把大模型想象成一臺計算機,長文能力相當於內存。內存越大,能做的事情越多。堅持對數據無損壓縮,不斷提升模型能力,不走滑動窗口、降採樣、小模型等技術捷徑。半年內,月之暗麪糰隊把長文本能力擴展至200萬字。這份堅持贏得了大量用戶的認可。2024年,Kimi用戶量增長了100倍,從幾十萬躍升至幾千萬。

對底層技術創新的堅持,不止體現在對無損長文本的執着中,也體現在後續產品的功能配置上。Kimi K2就是個典型,這款整體能力很強的開源模型上線後,迅速成爲API(應用程序編程接口)調用量和下載量增長最快的大模型。

Kimi K2在多項基準測試中都達到了最佳性能和最優表現,在自主編程、工具調用、數學推理三方面的能力更爲突出:第一個是編程能力,相當於程序員的高考。如果能拿到高分,說明這個AI已經可以幫助軟件工程師解決很多問題;第二個是工具調用能力,得分高代表它可以成爲數字實習生,在現實中幫助人們完成任務;第三個對應數學推理能力,就像是一場數學競賽,表現卓越就能跟尖子生“掰手腕”。

Kimi K2成爲闖進權威榜單前五名唯一的開源模型非常不容易。與在算法保密上煞費苦心的閉源模型不同,Kimi K2項目團隊將智能和能力開放給了所有開發者,相當於把知名企業的頂尖能力從保險箱搬到一個公共貨架上,誰都能用。

實現突破

“我們是典型的技術理想主義團隊,用時間換空間,用積累換突破。”Kimi K2項目團隊表示,作爲一家專注通用人工智能的公司,月之暗面尋求將能源轉化爲智能的最優解,通過產品與用戶共創智能,實現普惠AI。“我們把代碼變成人人可用的工具,不再是程序員的專屬。”

計算機領域有很多方向,每個方向需要的技能不同。Kimi K2相當於一位多面手實習生,可以很大程度提升不同開發者的效率。用楊植麟的話說,“很多時候,一個模型表現成什麼樣子由平臺決定,但每個人都有自己的偏好,都應該有個性化定製的機會”。

AI助手能幫助人們做什麼?當着記者的面,Kimi K2根據一句話用短短4分鐘創建了一個3D森林,身處其中,按空格鍵就切換角度。寫軟件、做英語單詞閃卡小應用、開發一個簡單的遊戲,都不在話下。

其實,早在Kimi K2發佈前,它就按項目組的要求,用自己的能力寫出工具,“彈”響了公司門口的電鋼琴。這證明它具備像人一樣處理任務的能力。

有了Agent能力,Kimi K2主動在各種環境中去探索使用工具、學習新技能,跟電子世界甚至真實世界進行交互得到反饋,進一步強化自主探索完成任務的能力。Agent能力,本質上是模型向下一個層級邁進,類似模型中的動物和人的主要區別。據Kimi K2項目團隊介紹,具備運用工具的能力是大模型的重要迭代。這項能力去年在業內還沒達成共識,Kimi K2開啓了Agent智能時代,但目前也只是Agent領域的一個早期產品。

告別被動的一問一答,想讓模型學習能力更強,就得下功夫耐心打造更強大的基座模型。Kimi K2項目團隊介紹,“我們拒絕了搶發模型的誘惑,先建好基座模型”。同時,訓練Kimi K2時,首次將創新的優化器應用到萬億級別參數量規模的模型訓練上,並且驗證訓練效率,實現了技術突破。

與面向垂類客戶的“超級員工”不同,月之暗面想做通用全能且超越人類智能水平的產品。公司儘可能發展通用、泛化能力,學會新技能反哺其他技能。楊植麟說:“通用技術更復雜、有更多瓶頸,是一條更難走的路。” (經濟日報記者 楊學聰)