阿里巴巴的Qwen AI模型助力斯坦福、伯克利能夠開發出低成本推理模型

斯坦福的S1和伯克利的TinyZero是研究人員越來越多地使用阿里巴巴技術降低AI訓練成本的兩個例子。隨着美國計算機科學家（包括著名的華裔“AI教母”李飛飛）利用阿里巴巴的開源Qwen2.5模型，以不到50美元的成本訓練出一種新的推理模型，在中國DeepSeek取得突破性成功後，生產最便宜且性能頂尖的人工智能（AI）模型的競賽正在升溫。

根據上週發表的一篇研究論文，S1推理模型是由斯坦福大學（李飛飛工作的地方）和華盛頓大學的研究人員在阿里巴巴的Qwen2.5-32b-Instruct模型基礎上開發的。

阿里巴巴模型的能力是中國正在縮小與領先美國AI企業差距的最新證據。此前，DeepSeek發佈的低成本、高性能開源模型已引起全球關注。阿里巴巴在香港上市的股票本週一上漲了6%。

根據論文，S1模型在經過1000個精心設計的問題答案和從谷歌Gemini思維實驗模型中蒸餾的“思維過程”訓練後，在數學和編程技能上超越了OpenAI的o1-preview模型。

根據研究中提到的計算，僅用於開發S1的圖形處理單元（GPU）運行成本可能低至14美元。論文指出，該模型在16個NvidiaH100上訓練了26分鐘。這些芯片可以以每小時2美元的價格租用。

加州大學伯克利分校的計算機科學家Pan Jiayi表示，以如此低的成本（大約相當於紐約熟食店一個三明治的價格）訓練一個強大的推理模型的關鍵在於基礎模型。“基礎模型的質量是關鍵，”他說。

Pan Jiayi的團隊在啓動一個項目時得出了這一結論。該項目成功複製了DeepSeek-R1模型在倒計時遊戲（一種需要模型達到目標數字的算術運算）和乘法任務中的推理能力。該團隊的TinyZero項目也是在一系列Qwen2.5模型的基礎上構建的，成本約爲30美元。

通過使用強化學習，Pan Jiayi的團隊從使用5億參數的Qwen2.5版本升級到70億參數的版本。Pan Jiayi在X（前身爲Twitter）上表示，一旦使用15億參數的模型，它就開始“學習搜索、自我驗證和修正解決方案，從而使其能夠獲得更高的分數”。

S1和TinyZero都選擇了阿里巴巴的Qwen2.5，因爲該模型的開源代碼允許任何人訪問和修改基礎模型，並且其性能表現出衆。

阿里巴巴的雲計算部門於去年9月首次推出Qwen2.5系列，參數規模從5億到720億不等。參數是指AI系統在訓練過程中存在的變量。AI模型的複雜性和有效性在很大程度上取決於訓練過程中涉及的參數規模。

在發佈時，該系列最大的模型Qwen2.5-72b的表現優於其他開源競爭對手模型，包括Meta Platforms的Llama3.1-405b，儘管後者規模更大。

根據當時的基準測試，其性能也與微軟支持的OpenAI和亞馬遜支持的Anthropic的頂級閉源模型相當。

Qwen2.5是全球最大的深度學習和AI模型社區Hugging Face上去年下載量最多的模型，取代了Meta的Llama系列，成爲全球研究人員和開發人員的首選。這也解釋了爲什麼越來越多的全球計算機科學家正在通過在Qwen模型上進行實驗來增強AI系統。

OpenAI的GPT系列等頂級模型並非開源，因此無法下載用於此類研究。

在本月早些時候發表的一篇論文中，上海交通大學的計算機科學家展示了一種使用高質量訓練樣本來增強AI系統推理能力的方法，該實驗也以Qwen模型爲基礎。

加拿大滑鐵盧大學計算機科學助理教授Chen Wenhu表示：“Qwen模型確實有一些神奇之處。”

Chen Wenhu在X上寫道，他的團隊嘗試使用相同質量的數據方法訓練其他模型，但幾乎沒有取得任何進展。

本文源自：金融界