靠手機就能運行!Google推出其有史以來規模最小Gemma 3 270M模型

Google公佈其有史以來最輕量化的Gemma 3開源模型Gemma 3 270M,參數量僅2.7億組,但在多項任務測試中展現超越更大規模模型的能力,甚至在IFEval基準測試表現高於Qwen2.5 0.5B Instruct,並且與Llama 3.2 1B相當。

Gemma 3 270M的設計,主打特定任務微調與高效能離線運行,適合手機、邊緣設備等資源受限環境佈署。Google更展示其在Pixel 9 Pro應用的能耗表現:經INT4量化後,進行25次對話僅損耗0.75%電量,成爲目前最節能的Gemma模型。

輕量結構、指令遵循與能效並重

Gemma 3 270M採用大詞彙量設計,其256k token的詞彙表讓模型能處理專業領域或稀有語言詞彙,嵌入層參數達1.7億組,而Transformer模組約1億,成爲特定領域微調奠定基礎。雖然不是針對長對話場景設計,但其「開箱即用」的指令遵循能力,已經足夠應付常見指令迴應需求。

同時,Gemma 3 270M同步釋出指令微調版本與預訓練檢查點,並且提供量化感知訓練 (QAT)檢查點,可在INT4精度下運行,同時整體效能損失極低,大幅降低佈署門檻與運行成本。

多場景應用與隱私優勢

由於體積小、功耗低,Gemma 3 270M適合在無需長期連網,並且對資料隱私有嚴格要求的場景應用。Google官方案例中,就以該模型搭配Transformers.js打造一個網頁端的睡前故事生成器,用戶僅需簡單選項設定,即可快速生成內容。

對於需要高效完成定義明確任務,同時需控制基礎設施成本的開發者與企業而言,Gemma 3 270M提供比大型模型更靈活、可快速迭代更新的選擇。

輕量化成AI發展新方向

Gemma系列模型在今年快速迭代,從適用雲端與桌面加速器的Gemma 3與量化感知訓練版本,到將多模態AI引入邊緣設備的Gemma 3n,再到此次鎖定超輕量端運行的Gemma 3 270M,顯示Google已經完成從雲端到裝置的模型產品佈局。

另一方,Gemma 3 270M也挑戰「參數數量等於性能」的想法,證明,小模型同樣可以具備穩定的指令遵循能力與任務適應性,未來在特定垂直場景中,輕量AI方案將成爲運算資源有限、對成本敏感的企業與開發者的首選。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》