上海芷銳電子科技申請鍵值緩存數據的調度及大模型推理相關專利，減少因傳輸鍵值緩存數據導致的帶寬資源的佔用

金融界2025年7月10日消息，國家知識產權局信息顯示，上海芷銳電子科技有限公司申請一項名爲“鍵值緩存數據的調度方法、大模型推理方法及裝置”的專利，公開號CN120276667A，申請日期爲2025年02月。

專利摘要顯示，本申請提供一種鍵值緩存數據的調度方法、大模型推理方法及裝置，涉及人工智能技術領域。該方法包括：利用預測模型預測大模型推理後續token所需的目標鍵值緩存數據；後續token是指大模型還未推理的token；判斷是否需要對所述目標鍵值緩存數據進行調度；若需要調度，則生成調度策略；根據調度策略從第一存儲空間獲取目標鍵值緩存數據，並將目標鍵值緩存數據存儲至第二存儲空間；其中，目標鍵值緩存數據用於使大模型推理後續token。

天眼查資料顯示，上海芷銳電子科技有限公司，成立於2018年，位於上海市，是一家以從事軟件和信息技術服務業爲主的企業。企業註冊資本2000萬人民幣。通過天眼查大數據分析，上海芷銳電子科技有限公司共對外投資了2家企業，參與招投標項目3次，專利信息35條，此外企業還擁有行政許可2個。

本文源自：金融界

作者：情報員