小哆智能申請大模型動態知識蒸餾方法及系統專利,提高模型輸出穩定

金融界2025年7月2日消息,國家知識產權局信息顯示,小哆智能科技(北京)有限公司申請一項名爲“大模型動態知識蒸餾方法及系統”的專利,公開號CN120235216A,申請日期爲2025年06月。

專利摘要顯示,本發明實施例提供一種大模型動態知識蒸餾方法及系統,屬於大模型動態知識蒸餾領域;該方法包括獲取問答對數據集,使用所述學生模型對所述訓練輸入問答對進行編碼,生成第一軟標籤;執行蒸餾,再次使用所述學生模型對所述訓練輸入問答對進行編碼,生成第二軟標籤;計算所述學生模型的預測不確定值和區分能力;動態調整蒸餾強度權重和蒸餾溫度值;迭代執行訓練所述學生模型的過程,直至所述學生模型的性能指標達到預設閾值,完成動態知識蒸餾。

天眼查資料顯示,小哆智能科技(北京)有限公司,成立於2017年,位於北京市,是一家以從事科技推廣和應用服務業爲主的企業。企業註冊資本3000萬人民幣。通過天眼查大數據分析,小哆智能科技(北京)有限公司共對外投資了1家企業,參與招投標項目16次,財產線索方面有商標信息55條,專利信息53條,此外企業還擁有行政許可3個。

本文源自:金融界

作者:情報員