數傳未來申請基於二階矩陣優化大模型訓練方法專利,降低顯存佔用

金融界2025年6月10日消息,國家知識產權局信息顯示,北京數傳未來科技有限公司申請一項名爲“一種基於二階矩陣優化的大模型訓練方法”的專利,公開號CN120124701A,申請日期爲2025年03月。

專利摘要顯示,本發明公開了一種基於二階矩陣優化的大模型訓練方法,屬於深度學習模型訓練技術優化領域,一種基於二階矩陣優化的大模型訓練方法包括以下步驟:S1.分解二階矩陣爲行列向量,滑動平均與分佈式分塊降低存儲;S2.行梯度聚合結合歷史衰減因子生成統計行向量;S3.列方向分塊分佈式統計並跨設備同步生成列向量;S4.行列向量外積構建低秩矩陣,噪聲抑制提升估計精度;S5.動態稀疏採樣,初期高密度聚焦,關鍵層穩定採樣率;S6.採樣點執行時序衰減更新,異步計算提升資源利用率;S7.未採樣區域高斯核平滑鄰域值補償覆蓋間隙;S8.融合低秩估計與稀疏數據,自適應權重平衡全局精度。

天眼查資料顯示,北京數傳未來科技有限公司,成立於2019年,位於北京市,是一家以從事科技推廣和應用服務業爲主的企業。企業註冊資本500萬人民幣。通過天眼查大數據分析,北京數傳未來科技有限公司財產線索方面有商標信息10條,此外企業還擁有行政許可4個。

本文源自:金融界

作者:情報員