第四範式發佈ModelHub AIoT解決方案：端側部署DeepSeek變輕鬆了

2月25日消息，第四範式推出大模型推理端側解決方案ModelHub AIoT，據悉，用戶在端側可輕鬆部署如DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸餾模型，離線運行，並可靈活在多個模型之間切換，兼顧了模型壓縮、推理性能，解決了部署與優化的複雜性。據介紹，該方案不僅能夠滿足用戶對隱私和實時性的需求，還極大降低了AI大模型推理成本。（定西）

本文來自本站科技報道，更多資訊和深度內容，關注我們。