NVIDIA、Google Cloud 推「企業用」代理型 AI 推理功能

NVIDIA、Google Cloud爲追求在地端使用Gemini系列AI模型的企業，提供代理型AI推理功能。NVIDIA／提供

輝達（NVIDIA）10日宣佈，團隊攜手Google Cloud運用Blackwell HGX and DGX平臺及NVIDIA機密運算（NVIDIA Confidential Computing）技術，保護每一位用戶的資料安全，並將代理型 AI（agentic AI）帶給尋求在地端使用Google Gemini系列AI模型的企業。輝達表示，企業透過搭載NVIDIA Blackwell平臺的Google分散式雲端（GDC）就能從地端資料中心來鎖定存取病患紀錄、金融交易和政府機密資訊等機敏資訊的權限，以符合法規要求和資料主權法令。

團隊補充，這項NVIDIA機密運算技術還能保護Gemini模型中的敏感程式碼，避免未經授權的存取與資料外泄。Google Cloud基礎設施與解決方案部門副總裁暨總經理Sachin Gupta則表示，藉由將兩大廠的Gemini模型與NVIDIA Blackwell的突破性效能及機密運算能力相結合，將能讓企業能夠充分發揮代理型AI的潛力。而這項合作也有助於確保客戶能夠在不影響效能或操作便利性的情況下，安全地進行創新。

他說，NVIDIA Blackwell的機密運算技術能爲企業提供技術保障，包括Gemini模型應用程式介面的使用者提示及用於微調的資料，都能保持安全，無法被檢視或修改。並且與此同時，模型所有者可以防止未經授權的存取或竄改，提供雙重保護，讓企業能夠在維護資料隱私的同時，利用Gemini模型進行創新。

AI 代理驅動全新企業應用

隨着代理型AI重塑企業技術格局，帶來更強大解決問題的能力，這項全新解決方案應運而生。有別於根據學習到的知識來感知或生成內容的AI模型，代理型AI系統可以在動態環境中進行推理、適應與決策。例如在企業IT支援方面，以知識爲基礎的AI模型可以檢索與提供故障排除指南，而代理型AI系統則能夠自主診斷問題、執行修復，以及將複雜的問題呈報到更高層級進行處理。同樣若在金融領域，傳統的AI模型可以根據既有模式標示潛在的詐欺交易活動，代理型AI系統則能更進一步調查異常情況，並主動採取行動，例如在交易發生前即進行封鎖，或是即時調整詐欺偵測規則。

在地端進行部署的兩難困境

團隊表示，雖然許多企業已經可以使用多模態推理的模型，整合文字、影像、程式碼和其他資料類型來解決複雜的問題，並建立雲端代理型AI應用，不過那些對安全或資料主權有着嚴格要求的企業卻還無法實現。而隨着這項消息的發表，Google Cloud將成爲首批提供機密運算功能的雲端服務供應商之一，以保護無論是在雲端或混合環境中的代理型AI工作負載。

這項解決方案由搭載Blackwell GPU與NVIDIA機密運算技術的NVIDIA HGX B200平臺驅動，讓客戶能夠保護AI模型與資料安全。這樣可讓使用者在不影響資料安全性或模型完整性的情況下，達到突破性的效能與能源效率。

代理型 AI 的 AI 可觀察性及安全性

在生產環境中擴展代理型AI需要強大的可觀察性與安全性，以確保有穩定的效能表現及符合法令要求。此外，Google Cloud今日也宣佈推出全新的GKE Inference Gateway，藉由先進的路由和擴充性來最佳化部署AI推論工作負載的部署。

Google Cloud直言，透過與NVIDIA Triton推論伺服器及NVIDIA NeMo Guardrails整合，GKE Inference Gateway可提供智慧型負載平衡，以提升效能與降低服務成本，同時實現模型安全與治理活動的集中化控管。展望未來，Google Cloud正致力於整合專爲跨AI工廠服務與擴充推理AI模型而打造的開源函式庫NVIDIA Dynamo，以提高代理型AI工作負載的可觀察性。