《科技》不再倚賴雲端! OpenAI首款開源推理模型進駐高通

高通指出，該公司已取得模型的提前存取權，並完成與Qualcomm AI引擎及AI疊層（AI Stack）的整合測試。測試顯示，這款擁有200億參數的模型能完全在裝置上執行完整的推理過程，效能表現相當亮眼，不僅強調隱私與低延遲，也爲手機上的個人化智慧代理帶來新的應用可能。

開發者可透過Hugging Face及Ollama平臺存取gpt-oss-20b，並能在Qualcomm AI Hub獲得進一步的部署細節。由於已與Ollama整合，模型開箱即用，支援網路搜尋、Turbo Mode等多項功能。

高通認爲，這一進展是裝置端AI的重要轉捩點，象徵AI生態系已更趨成熟。隨着行動裝置記憶體持續擴充、軟體堆疊效率提升，未來裝置端AI的能力將快速增長，帶來更即時、更隱私化且更個人化的智慧代理體驗，同時也能與雲端AI代理相輔相成。