IBM發表可大幅減少記憶體用量的「小語言模型」 Granite 4.0

IBM日前發表其最新一代企業級「小語言模型」Granite 4.0，以創新的混合式架構 — 結合Mamba-2與 Transformer技術，實現前所未有的效能與效率。Granite 4.0 不僅大幅降低記憶體與硬體成本，更提供企業部署AI的安全性、可控性與彈性，爲臺灣各類型企業的AI應用落地提供強力支援。這一代模型優化了處理 Agentic 工作流程核心任務的能力，無論是獨立部署，或作爲大型推理系統中的高效模組，皆能發揮關鍵作用。

Granite 4.0 採用創新的 Mamba/Transformer 混合架構，突破傳統 Transformer 模型處理長文本的效能瓶頸。Mamba 架構可線性擴展上下文長度，讓 Granite 4.0 在處理複雜任務時，大幅減少記憶體的使用量達70%，推理速度卻加快二倍，同時支援更平價的 GPU包括家用硬體。這項突破對臺灣中小企業與開發者意味着高效能AI不再是高成本的同義詞，而是人人可及的技術資源。

Granite 4.0已在 IBM watsonx.ai 平臺正式上線，並同步支援 Dell Technologies (Dell Pro AI Studio 與 Enterprise Hub)、Docker Hub、Hugging Face、Kaggle、LM Studio、NVIDIA NIM、Ollama、OPAQUE 及Replicate 等平臺；未來也將支援 Amazon SageMaker JumpStart 與 Microsoft Azure AI Foundry。

Granite 4.0 提供多種模型規格，靈活應對不同場景；並預計於2025年底推出強化邏輯推理的Thinking 模型。

IBM 發表「中小企業友好」的AI 小語言模型 Granite 4.0，大幅降低記憶體的使用量達七成，推理速度加快2倍，同時支援更平價的GPU包括家用硬體。圖／IBM提供