國內首款推理加速存儲AS3000G7發佈

人民網成都7月30日電 (趙祖樂)近日，2025(第二屆)產融合作大會在四川宜賓舉行。會上，浪潮存儲營銷總監張業興代表浪潮存儲正式發佈國內首款推理加速存儲AS3000G7。

該產品憑藉“以存代算”的技術創新，有效破解KV Cache重複計算帶來的算力和時延損耗難題，爲大模型推理場景提供突破性解決方案，加速推動大模型在金融、科研等領域的規模化落地。

作爲國內首款推理加速存儲產品，AS3000G7有四大核心優勢，具體如下：

降低響應延遲。將歷史Token緩存至AS3000G7存儲層，下輪對話從NVMe SSD硬盤中拉取歷史token的KV Cache，減少GPU重複計算帶來的資源消耗，TTFT降低90%。

承載更多併發。TTFT在400ms以內的前提下，系統可支持的吞吐量(Token/s)可達原方案5倍，單位GPU資源可承載更多推理請求。

降低GPU功耗。TTFT的降低與併發的提升，單Token平均功耗下降60%，在承載同等規模token負載時，GPU服務器整機功耗降低。

生態兼容適配。廣泛兼容國產與海外芯片的異構算力平臺，深度適配vLLM框架下的deepseek等主流大模型，優化推理體驗。

隨着大模型推理需求的持續攀升，AS3000G7的推出恰逢其時。其通過“以存代算”的技術創新突破KV Cache重計算瓶頸，爲AI規模化應用築牢存儲根基。未來，隨着多模態與實時交互場景的普及以及存儲與計算的協同優化，KV Cache“以存代算”將成爲降本增效的核心競爭力，爲智能時代的推理存儲構建新基準。