本溪鋼鐵申請基於動態資源調度的大語言模型分佈式訓練方法及系統專利，顯著提升大語言模型的訓練效率

金融界 2025 年 7 月 8 日消息，國家知識產權局信息顯示，本溪鋼鐵（集團）信息自動化有限責任公司申請一項名爲“基於動態資源調度的大語言模型分佈式訓練方法及系統”的專利，公開號 CN120278283A，申請日期爲 2025 年 06 月。

專利摘要顯示，本發明提供一種基於動態資源調度的大語言模型分佈式訓練方法及系統，通過以週期性時間間隔採集各計算節點的資源狀態數據，從而在當前訓練批次，將大語言模型的訓練任務劃分爲多類子任務，並基於各計算節點的資源狀態數據以及各類子任務的任務描述數據，利用強化學習策略將各類子任務以最優比例分配至最優的計算節點；此外，採用梯度壓縮算法對計算節點上產生的梯度數據進行壓縮，並結合所述計算節點的當前網絡帶寬利用率動態調整所述梯度數據的壓縮率；參數服務器進而基於參數同步間隔對不同計算節點壓縮後的梯度數據進行加權融合，基於融合結果更新全局模型參數，並將全局模型參數廣播至各個計算節點，能夠顯著提升大語言模型的訓練效率。

天眼查資料顯示，本溪鋼鐵（集團）信息自動化有限責任公司，成立於2003年，位於本溪市，是一家以從事軟件和信息技術服務業爲主的企業。企業註冊資本5000萬人民幣。通過天眼查大數據分析，本溪鋼鐵（集團）信息自動化有限責任公司參與招投標項目1641次，專利信息170條，此外企業還擁有行政許可1個。

本文源自：金融界

作者：情報員