南方電網申請基於剪枝蒸餾融合的學生網絡獲取方法及系統專利,利用知識蒸餾加快訓練進度
金融界2025年6月14日消息,國家知識產權局信息顯示,中國南方電網有限責任公司申請一項名爲“一種基於剪枝蒸餾融合的學生網絡獲取方法及系統”的專利,公開號CN120146100A,申請日期爲2025年02月。
專利摘要顯示,本發明涉及卷積神經網絡技術領域,特別是涉及一種基於剪枝蒸餾融合的學生網絡獲取方法及系統。包括:對初始輕量卷積神經網絡進行剪枝蒸餾壓縮訓練,進而得到學生網絡;剪枝蒸餾壓縮訓練包括:通過解耦知識蒸餾訓練初始輕量卷積神經網絡,得到第一輕量卷積神經網絡;獲取目標剪枝率和濾波器重要性組;基於目標剪枝率和濾波器重要性組對第一輕量卷積神經網絡進行剪枝,得到第二輕量卷積神經網絡;基於第二輕量卷積神經網絡更新初始輕量卷積神經網絡。本發明利用知識蒸餾的特性加快訓練進度,解決剪枝過程中存在的收斂速度慢的問題,同時基於目標剪枝率和濾波器重要性剪枝,解決了知識蒸餾中學生網絡模型大小難以確定的問題。
天眼查資料顯示,中國南方電網有限責任公司,成立於2004年,位於廣州市,是一家以從事電力、熱力生產和供應業爲主的企業。企業註冊資本9020000萬人民幣。通過天眼查大數據分析,中國南方電網有限責任公司共對外投資了36家企業,參與招投標項目5000次,財產線索方面有商標信息352條,專利信息5000條,此外企業還擁有行政許可65個。
本文源自:金融界
作者:情報員