《產業》NVIDIA MLPerf訓練結果 展現驚人效能

10家NVIDIA合作伙伴提交了結果，反映了NVIDIA AI生態系的深度和廣度，包括華碩(2357)、戴爾科技集團、富士通、技嘉(2376)、慧與企業、聯想、甲骨文、廣達(2382)旗下雲達科技、美超微和Sustainable Metal Cloud。此廣泛的參與以及各夥伴傑出的基準測試結果，突顯了NVIDIA AI平臺在整個產業的廣泛採用和信任。

由於NVIDIA AI平臺的可擴展性，Eos現在可以更快地訓練GPT-3 175B等大規模AI模型，這種出色的AI效能可以轉化爲巨大的商機。例如，在NVIDIA最近的財報電話會議中，我們描述了大型語言模型服務供應商如何在 NVIDIA HGX H200伺服器上運行Llama 3 70B模型，在短短四年內將一美元投資轉化爲七美元。這個投資回報是假設一家大型語言服務供應商使用吞吐量爲每秒24,000詞元的HGX H200伺服器，以每百萬詞元0.6美元的價格/提供 Llama 3 70B服務。

NVIDIA H200 Tensor GPU基於Hopper架構的優勢而構建，擁有141GB HBM3記憶體，與H100 GPU相比，記憶體頻寬增加了40%以上。 NVIDIA H200 Tensor Core GPU突破了AI訓練的極限，在其首次亮相的MLPerf Training中延伸H100的效能並提高了47%。

此外，由於對NVIDIA軟體堆疊進行了大量最佳化，使用512個H100 GPU的配置所提交的結果現在比一年前快了27%。這項改進凸顯了即使使用相同的硬體，持續的軟體增強也可以顯著提高效能。這項工作也實現了近乎完美的擴充。隨着GPU數量從去年的3584個H100 GPU增加到此次提交的11,616個H100 GPU，增加3.2倍，提交的效能也隨之等比增加。

隨着NVIDIA Blackwell平臺推出，用於訓練和推論的兆參數生成式AI模型的新一等級AI效能即將實現。