Google Cloud推最新TPU「Ironwood」 助力AI推理時代來臨

Google Cloud示意圖。圖／路透社

Google Cloud Next 25大會正式開幕。Google機器學習、系統與雲端人工智慧副總裁/總經理 Amin Vahdat宣佈第七代張量處理器 (TPU)「Ironwood」，助力AI推理時代的來臨，這顆晶片Google Cloud有史以來性能最高、可擴展性最好的ASIC晶片，也是第一款專爲推理而設計的加速器，用以支援大規模的思考和推理AI模型。

Amin Vahdat表示，Ironwood代表了AI發展以及推動其進步的基礎設施的重大轉變。AI將從迴應式的AI，變成可以主動提供見解和解讀的模型，進入AI推理時代，Google將加速建構AI所需基礎建設，並喊出2025是AI代理年，AI代理未來將主動檢索和生成數據，協作提供見解和答案，不僅僅是數據。

根據Google官方部落格的資料，Ironwood 可擴展至最多9,216個晶片，強化Google Cloud AI 超級電腦架構，針對嚴格的AI工作負載對硬體和軟體進行最佳化。當擴展到最大量晶片時，其算力是世界上最大的超級電腦 El Capitan 的 24 倍以上，可以運作訓練和推理思維能力的超大規模密集 LLM 或 MoE 模型。

他也表示，Ironwood是高效率更節能的晶片，每瓦表現是去年第六代TPU Trillium的2倍。Ironwood 的能源效率比Google 2018年推出的第一款Cloud TPU高出近30倍。