谷歌推出推理神器!第七代TPU芯片性能大升級

4月10日消息,在本週舉行的Cloud Next大會上,谷歌推出最新一代TPU AI加速芯片。

這款名爲Ironwood的芯片是谷歌第七代TPU,同時也是首款專爲人工智能推理優化的芯片產品。Ironwood預計將在今年晚些時候向Google Cloud客戶開放,提供256芯片集羣和9,216芯片集羣兩種配置。

谷歌雲副總裁阿明·瓦赫達特(Amin Vahdat)在博客文章中寫道:“Ironwood是我們迄今爲止性能最強、功能最全、能效最高的TPU。它專爲大規模驅動具備思考能力的推理型AI模型而打造。”

Ironwood的發佈正值人工智能加速器領域競爭日趨激烈之際。雖然英偉達暫居領先地位,但亞馬遜和微軟等科技巨頭正在大力推動自研解決方案。亞馬遜通過AWS提供訓練專用芯片Trainium、推理芯片Inferentia和通用處理器Graviton,微軟則爲Azure雲平臺部署了Maia 100人工智能芯片。

根據谷歌內部基準測試,Ironwood峰值計算能力達到4,614萬億次浮點運算/秒(TFLOPs)。每顆芯片配備192GB專用內存,帶寬接近7.4太比特/秒(Tbps)。

Ironwood還搭載增強版專用核心SparseCore,用於處理“高級排序”和“推薦”任務中常見的數據類型(例如推薦用戶可能喜歡的服飾)。谷歌表示,該TPU架構通過最小化芯片內數據移動和延遲來實現節能。

瓦赫達特補充稱,谷歌計劃近期將Ironwood整合到谷歌雲中的模塊化計算集羣。

“在推理計算時代,Ironwood實現了計算能力、內存容量、網絡技術進步及可靠性的獨特突破。”瓦赫達特表示。(辰辰)