標榜比NVIDIA方案更具彈性 博通強調以開放架構的乙太網路生態推動AI等大型分散運算系統
▲博通資深副總裁暨核心交換器部門總經理Ram Velaga
公佈新一代人工智慧基礎架構打造的Jericho4乙太網路交換式路由器平臺之後,博通資深副總裁暨核心交換器部門總經理Ram Velaga在臺北舉辦的2025 OCP APAC Summit (2025開放運算計劃亞太峰會)期間進一步說明採開放架構的網路平臺優勢,並且強調能比NVIDIA藉由自身提出的NVLink技術,以及後續收購Mellanox取得InfiniBand及Spectrum技術所建構網路架構更具競爭力。
Ram Velaga表示,過去大型分散運算式架構主要用於複雜運算、能源探勘,或是諸如Google Search等大規模資料搜尋服務,而目前則是廣泛用於大型人工智慧運算,對應超過100萬組加速器規模,並且支撐大型語言模型運作。
在運算架構中,目前主流作法會以GPU作爲加速器,並且透過堆疊方式提高單一運算叢集執行效能,同時再以網路連接方式橫向擴展運算規模,藉此形成更龐大的運算資源。不過,除了NVIDIA是以GPU加速爲主,市場也有不少加速運算是透過CPU堆疊,甚至透過ASIC形式打造的運算元件 (例如Google的TPU)作爲設計,藉此對應不同的運算佈署需求。
因此相較NVIDIA是以其NVLink技術將自身GPU產品與不同CPU連結,藉此達成加速運算效能垂直提升,並且透過InfiniBand、Spectrum技術橫向擴展運算規模,Ram Velaga強調博通看重的是以開放架構的乙太網路 (Ethernet)系統,建構更具彈性且符合低延遲需求的加速運算系統,同時避免相關技術受限於特定廠商的運作方式。
Ram Velaga指出,即使NVIDIA在今年Computex 2025宣佈提出進一步開放與更多運算平臺合作的NVLink Fusion,標榜能讓合作伙伴以其偏好、設計的運算平臺,結合NVIDIA的GPU發揮更高執行運算效能,但整體來看仍會受限於NVIDIA願意開放多少資源,因此強調在全面開放、採業界標準設計的乙太網路系統才能推動更大加速運算生態。
在進一步說明中,Ram Velaga表示即使在NVLink技術下的延遲時間更低,但博通在日前提出的Tomahawk Ultra交換器處理晶片也能對應相當低的資料傳輸延遲表現,同時在可連接加速器數量更多,而對應的傳輸頻寬表現也更高,加上採用開放架構的乙太網路系統,將能更不受特定廠商技術限制地建構超大規模加速運算系統。
▲博通針對不同運算需求個別提出Tomahawk Ultra、日前更新的Tomahawk 6,以及此次更新的Jericho4乙太網路交換式路由器晶片
Ram Velaga認爲乙太網路的開放架構將是未來加速運算髮展基礎,同時也能借由更容易連結不同加速器,配合不同運算需求進行彈性佈署,而非僅能選擇特定廠商的少數技術資源。
另一方面,Ram Velaga也強調博通提出產品提供更高資料交換時的傳輸頻寬,因此能使網路系統的交換路徑進一步簡化,意味可讓整體傳輸延遲大幅降低、減少資料傳輸壅塞問題,同時也能借由簡化傳輸路徑減少線路分佈、交換器數量等所產生成本,更容易讓用戶能將分散在各地的小型資料中心以網路連結整合成大型運算叢集。
同時,Ram Velaga更表示博通不會與特定業者合作,強調藉由秉持開源精神與各家業者合作,並且對應不同業者自行採用的加速運算元件、模型運算需求。
《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》