依照運算需求佈署 Google Cloud推出可在雲端架構彈性配置NVIDIA L4 GPU的Cloud Run GPU服務

Google Cloud稍早宣佈推出Cloud Run GPU服務，讓使用者能透過此服務以於雲端形式使用NVIDIA L4 GPU，藉由自動擴展、彈性佈署形式使用，主要針對人工智慧運算、推論訓練等工作負載使用。

同時，由於無須事先申請設定GPU配置規模，可自動依照運算需求彈性配置GPU數量，因此不會造成GPU在未使用時造成資源閒置，進而產生額外成本，藉此增加布署彈性，更可藉由自動化佈署簡化管理難度。

此服務採以秒計費形式使用，同時在不使用時即可自動歸零，同時在冷啓動狀態下能於5秒左右時間完成GPU與驅動程式啓動，若以Gemma 3 40億組參數規模推論運作爲例，自冷啓動狀態到產生第一個詞元 (token)僅需約19秒時間，意味能在短時間內快速啓動。

而Cloud Run GPU服務本身可直接在應用程式加入相關指令，或是在應用服務控制檯背後選擇是否開啓GPU加速運算。

既然採彈性配置形式提供使用，Google Cloud也標榜此服務運作可靠性，並且說明使用者或企業能依照營運需求在多個區域佈署使用，另外也能關閉分區備援調整整體可用運算資源配置。

目前Cloud Run GPU服務已經在美國、歐洲及亞洲多個Google Cloud區域服務上線。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》