亞馬遜研發輝達 GPU 硬體
亞馬遜9日宣佈,旗下雲端部門已開發出用於冷卻下一代輝達(Nvidia)圖形處理器(GPU)的硬體。
CNBC報導,推動生成式人工智慧(AI)蓬勃發展的輝達GPU,需要消耗大量能源,意味着使用這些GPU的公司需要額外的設備將其冷卻。
亞馬遜曾考慮建立能廣泛使用液冷技術的資料中心,以充分利用這些高耗能的輝達GPU。但亞馬遜網路服務(AWS)的運算和機器學習服務副總裁布朗說,這個過程太耗時,而且市售設備也無法滿足需求。
布朗說:「它們會佔用過多的資料中心空間,或大幅增加用水量。」「雖然其中一些解決方案在其他供應商的低容量情況下可能奏效,但它們的液冷能力根本無法支撐我們的規模。」
於是,亞馬遜工程師研發了機架內熱交換器(IRHX),可以連通現有和新建的資料中心。較傳統的空氣冷卻已足以支援前幾代輝達晶片。布朗在一篇部落格貼文說,客戶現在可以用名爲P6e的運算實例取得AWS服務。新系統秉承了輝達的高密度算力設計。輝達的GB200 NVL72在一個機架中整合72個輝達Blackwell GPU,以訓練和操作大型AI模型。