英特爾申請在神經網絡中執行多對一特徵蒸餾專利，公開沒預訓練教師模型下同時訓練教師和學生網絡方法

金融界2025年6月11日消息，國家知識產權局信息顯示，英特爾公司申請一項名爲“在神經網絡中執行多對一特徵蒸餾的方法和裝置”的專利，公開號 CN120129909A，申請日期爲2022年11月。

專利摘要顯示，公開了在沒有預訓練的教師模型的情況下同時訓練教師網絡和學生網絡的方法、裝置、系統和製品。一種裝置，包括：至少一個存儲器；機器可讀指令；以及處理器電路模塊，用於對機器可讀指令進行實例化或執行中的至少一個，以基於查詢生成針對教師網絡的第一特徵圖，第一特徵圖具有第一通道維度；基於查詢生成針對學生網絡的第二特徵圖，第二特徵圖具有第二通道維度，第二通道維度不同於第一通道維度；將第二特徵圖分割爲具有第一通道維度的片段；使用第二特徵圖的片段訓練教師網絡；以及通過將總損失值應用於學生網絡來訓練學生網絡，總損失值基於損失函數，其中教師網絡和學生網絡是在邊緣設備上被訓練的。

本文源自：金融界

作者：情報員