德邦證券：模型蒸餾技術爆發年 加速AI平權

智通財經APP獲悉，德邦證券發佈研報稱，從DeepSeekR1到s1，不斷證明着2025年將是大模型普惠的起點，AI應用與端側或將同時迎來AI成本下降與模型能力提升的全面加強；此外，在蒸餾技術支持下，Jevons悖論或得到持續論證，有望涌現更多現象級的高性價比小模型，在部署在端側和應用的同時，推動模型逐漸從預訓練向推理轉變，國產算力有望在推理算力爆發下迎來價值重估。

德邦證券主要觀點如下：

成本僅50美元，性能媲美o1與R1，模型蒸餾技術的爆發年。

根據TechCrunch，李飛飛等斯坦福大學和華盛頓大學的AI研究人員的一篇新研究論文表示，他們成功地用不到50美元的費用訓練了一個AI推理模型s1(僅爲雲計算服務費用，不包括服務器、顯卡等硬件投入費用)。

1)技術路徑：論文指出，推理模型可以通過相對較小的數據集和監督微調(SFT)的過程進行蒸餾，其中AI模型被明確指導去模仿數據集中的某些行爲。具體來說，團隊構建了“s1K”的數據集，由1000個精心篩選的問題組成，每個問題都配有推理軌跡(reasoning traces)和從Gemini Thinking Experimenta蒸餾而來的答案。接着團隊在一個預訓練模型上進行監督微調(SFT)，僅使用16張H100GPU訓練26分鐘。此外，爲了提高答案的準確度，研究團隊還運用了一種“預算強制”技術，可以控制測試時間計算，通過強制提前終止模型的思考過程，或在s1推理時多次追加“等待”指令以延長思考，從而優化性能。

2)測試結果：根據研究團隊的測試結果可知，在競賽數學問題上，s1-32B的表現較o1-preview高27%(MATH和AIME24)；且該模型在AIME24上的表現幾乎與Gemini2.0 Thinking API相當，顯示其蒸餾過程是有效的。

低成本、開源與蒸餾將大幅降低AI模型開發門檻，有望加速AI平權過程

根據極客公園，早在2025年1月，深度求索發佈推理模型DeepSeek-R1正式版，採用MIT協議，同步開源模型權重，並允許用戶利用模型輸出、通過模型蒸餾等方式訓練其他模型。DeepSeek主動引導將R1作爲教師模型來蒸餾出一個更小但仍有實力的模型，通過DeepSeek-R1的輸出，蒸餾了6個小模型開源給社區，其中32B和70B模型在多項能力上實現了對標Open AI o1-mini的效果。

結合此次李飛飛團隊通過超低成本從Gemini Thinking Experimenta模型中蒸餾出的數據中訓練了s1，同樣取得了優異的模型性能，既印證了蒸餾技術是推動模型小型化與商品化的重要手段，有望縮小開源與閉源模型性能差距，從而加速AI平權過程；又爲AI應用與端側的爆發打下基礎。

投資建議：

1) 模型蒸餾：智信精密(301512.SZ)、拓爾思(300229.SZ)、思特奇(300608.SZ)、狄耐克(300884.SZ)、格靈深瞳(688207.SH)、神州泰嶽(300002.SZ)等；

2)AI應用：金山辦公(688111.SH)、泛微網絡(603039.SH)、致遠互聯(688369.SH)、博睿數據(688229.SH)、中科星圖(688568.SH)、金蝶國際(00268)、福昕軟件(688095.SH)、彩訊股份(300634.SZ)、萬興科技(300624.SZ)、易點天下(301171.SZ)、航天宏圖(688066.SH)等；

3)AI端側：雲天勵飛-U(688343.SH)、世運電路(603920.SH)、聯想集團(00992)、科大訊飛(002230.SZ)、樂鑫科技(688018.SH)、中科藍訊(688332.SH)等；

4)AI算力：雲天勵飛-U(688343.SH)、華豐科技(688629.SH)、海光信息(688041.SH)、中科曙光(603019.SH)、寒武紀-U(688256.SH)、神州數碼(000034.SZ)、浪潮信息(000977.SZ)、潤澤科技(300442.SZ)、潤建股份(002929.SZ)、世紀互聯(VNET.US)等。

風險提示：上游供應不及預期、下游AI產業落地速度不及預期、中游競爭格局加劇、國際局勢風險、國內外宏觀利率風險等。