AMD舉辦類NVIDIA GTC AI會議 陸行之提8大觀察

▲AMD。(圖/路透)

記者高兆麟/臺北報導

知名半導體分析師陸行之今日發文表示,今天AMD也來個 NVIDIA GTC like 的Advancing AI 會議,他也分享8個值得關注的點,認爲未來幾年AI推理市場的成長將遠遠高於訓練的市場,也認爲AMD找了許多客戶來背書,表示都是兩邊押注的客戶。

陸行之說,今天正式推出 MI350 AI GPU系列,提前於6月量產出貨(原本是下半年推出),使用臺積電3nm製程技術,NVIDIA現在量產的B200/GB200是用4nm製程技術。

另外,MI355X裝了288GB HBM3e Dram,宣稱一個GPU可以支援 5200參數的大語言模型,並在浮點運算FP 6, 64比B200/GB200快兩倍,但在其他精度上沒什麼優勢。

陸行之也說,MI355X 比第一代的MI300X晶片AI效能改善了35倍;在Deepseek R1的模型運算下,AMD 宣稱其MI355X GPU比B200快了20%,在Llama 3.1 模型,AMD 宣稱其MI355X GPU比B200快了近30%;因爲比較便宜,可以比B200製造40% more tokens per dollar. 但在pre training 方面沒有明顯勝出。

除此之外,AMD也推出一個128/96顆GPU的水冷機櫃及64顆GPU的氣冷機櫃跟NVL72 來拼場。

Lisa秀了一個訓練跟推理的市場預測,看起來未來幾年AI推理市場的成長將遠遠高於訓練的市場。

AMD新推出 Rocm 7 and Rocm enterprise ai and Rocm on client,期望能改善其在軟體發展的落後;Lisa 也找了xAI、meta、Oracle、沙烏地阿拉伯的Humain、Microsoft、cohere、Red hat來背書,表示這些都是兩邊押注的客戶。