小模型路線圖來了！蘋果弄清楚了“蒸餾Scaling Law“

近期AI領域“蒸餾”這一概念火熱，蘋果公司近期在人工智能領域的研究成果，爲蒸餾以及小模型的訓練提供了新的思路。

據媒體週二報道，通過深入分析“蒸餾”（Distillation）技術的Scaling Law，蘋果的研究人員不僅揭示了何時應該採用蒸餾、何時應該採用微調，還闡明瞭蒸餾技術在當前AI發展趨勢中的重要性。

模型蒸餾是一種將大型、複雜的模型（“教師”模型）的知識遷移到小型、簡單的模型（“學生”模型）的技術。其基本原理是，利用大模型生成的輸出來訓練小型模型。這種方法的核心優勢在於，通過借鑑已具備強大能力的模型的輸出，可以更容易地提升小模型的智能水平

研究發現，多次“蒸餾”更具優勢，“教師”模型的性能比大小更重要。更強大的“教師”(大模型）有時會產生更弱的“學生”（小模型），兩者“能力差距”過大時反而不利於蒸餾，換句話說需要有合適的教師才能讓學習發生。

這一研究成果，有望爲業界帶來更高效、更低成本的小模型訓練方案，並推動AI技術的進一步普及。

正如分析指出，分佈式訓練、蒸餾、聯邦推理，以及現在的蒸餾Scaling Law，所有這些研究都指向一個基本事實：大規模、廉價、高效地推廣強大AI系統所需的科學正在形成。AI系統正從少數大型計算專有孤島中轉移出來，以小模型或基於自身軌跡訓練的模型形式進入世界。這是一個重要的趨勢，將塑造整個領域。

什麼是模型“蒸餾”？何時蒸餾，何時微調？

蘋果的研究人員發表了一篇關於蒸餾Scaling Law的分析報告，爲業界提供了一個理論基礎，以判斷何時應該從大型模型中蒸餾出一個小型模型，何時應該對小型模型進行監督微調。

蘋果和牛津大學的研究人員引入了一種蒸餾縮放定律，該定律可以根據計算預算分佈預測蒸餾模型的性能，對蒸餾進行了廣泛的對照研究，學生和教師模型的參數範圍從1.43億到126億，訓練數據從幾十億token到5120億token不等。

蘋果的研究主要有以下幾個關鍵發現：

值得一提的是，蘋果提出的蒸餾Scaling Law 定義了學生模型的性能如何取決於教師的交叉熵損失、數據集大小和模型參數。該研究確定了兩種冪律行爲之間的過渡，其中學生的學習能力取決於教師的相對能力。該研究還解決了能力差距現象，這表明更強大的教師有時會產生更弱的學生。分析表明，這種差距是由於學習能力的差異，而不僅僅是模型大小。研究人員證明，當計算資源得到適當分配時，蒸餾在效率方面可以與傳統的監督學習方法相媲美，甚至超過後者。

換句話說，你需要有合適的教師才能讓學習發生。例如：一個5歲的孩子或許可以從高中數學老師那裡學到一些東西，但他們很難從研究生數學導師那裡學到任何東西，事實上可能會變得困惑。