首次使用“非英偉達”芯片!OpenAI租用谷歌TPU,降低推理計算成本
英偉達的芯片主導地位正被侵蝕,OpenAI租用谷歌TPU,爲首次大規模使用“非英偉達”芯片。
週六,據媒體報道,作爲全球最大的人工智能芯片客戶之一,OpenAI近期開始租用谷歌的TPU芯片爲ChatGPT等產品提供算力支持,這是該公司首次大規模使用非英偉達芯片。
據知情人士透露,此次合作安排使得OpenAI緩解對微軟數據中心的依賴,同時爲谷歌的TPU提供了挑戰英偉達GPU市場主導地位的機會。OpenAI希望通過谷歌雲租用的TPU芯片降低推理計算成本。
隨着ChatGPT付費訂閱用戶從年初的1500萬增長至超過2500萬,加上每週數億免費用戶的使用,OpenAI的算力需求正在快速攀升。
值得一提的是,越來越多公司正在開發推理芯片以減少對英偉達的依賴並長期降低成本。亞馬遜和微軟,以及OpenAI和Meta等大型AI推理芯片都已啓動自主研發推理芯片的計劃,見聞此前文章提及,微軟造芯計劃受挫,Maia 100目前僅用於內部測試,Braga的AI 芯片面臨至少六個月的延遲,且預計其性能將遠低於英偉達Blackwell芯片。
OpenAI需求激增推動轉向谷歌芯片
OpenAI主要通過微軟和甲骨文租用英偉達服務器芯片來開發訓練模型併爲ChatGPT提供算力。 據瞭解,該公司去年在此類服務器上的支出超過40億美元,其中訓練和推理成本各佔一半,預計2025年在AI芯片服務器上的支出將接近140億美元。
谷歌TPU轉向的直接推動因素是今年早些時候ChatGPT圖像生成工具的爆紅,這給OpenAI在微軟的推理服務器帶來了巨大的壓力。爲了應對不斷增長的計算需求和成本壓力,OpenAI首先尋求了谷歌雲的支持。
據谷歌雲員工透露,谷歌雖然向該競爭對手開放其強大的TPU芯片,但還是會將更強大的TPU保留給自己的AI團隊開發,然後供Gemini模型使用。
谷歌大約10年前就開始研發TPU芯片,並從2017年開始向意識訓練自有AI模型的雲客戶提供這一服務。除了OpenAI外、蘋果、Safe Superintelligence和Cohere等公司也一直租用谷歌雲的TPU,部分原因是這些公司的一些員工在谷歌工作,熟悉TPU的運作方式。
據知情人士透露,同樣是全球最大AI芯片客戶之一的Meta近期也考慮使用TPU。
此外,谷歌雲還向其客戶出租英偉達支持的服務器,因爲英偉達芯片是行業標準,這樣做帶來的收益仍然比出租TPU多得多。開發者對控制這些芯片的專用軟件更加熟悉。谷歌此前已向英偉達訂購了超過100億美元的最新Blackwell服務器芯片,並於今年2月開始向部分客戶提供。