DeepSeek一體機密集發佈!私有化部署需求激增 雲廠商:已接到大量用戶諮詢
《科創板日報》2月12日訊(記者 黃心怡)DeepSeek掀起的算力熱潮還在持續。中國電信昨日宣佈推出了息壤智算一體機-DeepSeek版,在硬件層面以華爲昇騰芯片爲基礎,提供8卡、16卡、32卡等多種規格型號。此前,京東雲也發佈DeepSeek大模型一體機,支持華爲昇騰、海光、寒武紀、摩爾線程、天數智芯等國產AI加速芯片。《科創板日報》瞭解到,華鯤振宇也推出了DeepSeek大模型一體機方案。
《科創板日報》在採訪中獲悉,目前DeepSeek大模型一體機分爲推理一體機和訓推一體機。DeepSeek推理一體機內置DeepSeek-R1 32B、70B、滿血版671B等不同尺寸模型,價格在幾十萬到數百萬不等,主要面向對數據安全、數據隱私較爲敏感的企業用戶。而訓推一體機的售價更高,用於DeepSeek-R1 32B模型的預訓練和微調的一體機價格就達到數百萬。
有云技術人士認爲,大模型一體機能否產生經濟價值是關鍵。“大模型一體機主要是本地化部署,解決的是數據隱私問題。之前大模型一體機的經濟價值不高,高投入影響了其落地,未來還是需要應用能有更大的發展。”
▍DeepSeek模型私有化部署需求激增
“服務器繁忙,請稍後再試。”這是近期DeepSeek用戶經歷的日常,需求井噴讓DeepSeek始終處於滿負荷算力運行狀態。
《科創板日報》記者在採訪中瞭解到,由於直接API調用的不穩定,很多企業已經開始探索較爲簡易的私有化部署,甚至利用幾張英偉達4090 顯卡來嘗試部署DeepSeek-R1 32B到70B的模型,
“我們一開始安裝了70B 的模型,但是1張4090 24G顯卡跑不動,後來重新裝了32B的大模型。”有企業信息化部門的人士表示。
“我們也通過英偉達顯卡部署了DeepSeek模型,把業務跑起來了。但100人左右併發速度明顯降低,用於內部知識庫沒問題,如果是其他應用還是需要專業一體機。”另一位IT人士表示。
記者從多名雲計算廠商相關人士處獲悉,在DeepSeek爆火後,不少雲廠商接到了大量的用戶諮詢。“企業用戶會現在公有云上進行測試,與需求是否適配,再考慮私有云部署、一體機等形式。” 一家運營商雲的銷售人員向記者介紹。
優刻得相關負責人表示,DeepSeek開源模型適配完成並上線後,雲上訪問量和用量激增。除卻GPU雲主機外,配套的其他產品也有相應的增長,比如並行文件存儲UPFS、UModelVerse模型服務平臺、微調服務平臺等。還陸續受理到基於DeepSeek開源模型私有化部署的需求,比如一體機化、專有云化、全面國產化等場景。
▍數百萬投資成本是一道坎
選擇私有化部署的企業,往往對於數據安全有較高的要求,但大模型一體機的硬件投入動輒百萬級別,這對於不少企業是一道門檻。
目前,中國電信息壤智算一體機-DeepSeek版分爲訓推一體機和推理一體機兩大類型,有入門型、通用性、增強型不同配置,售價在幾十萬到數百萬不等,最高滿血版推理一體機優惠價近600萬元,訓推一體機則更高。《科創板日報》從知情人士處獲悉,京東雲的DeepSeek大模型一體機的售價也在幾十萬到幾百萬不等。
“我們肯定是用私有化部署,安全第一。不過目前大模型一體機的投入產出性價比不高,之前也是曾經嘗試過,因投入產出的暫緩執行了。”一名大型企業信息化負責人表示。
不少IT業內人士認爲,DeepSeek大模型最大的優勢在於開源與低成本,通過國產芯片算力,實現AI大模型的應用,可以讓中國在更多領域、更多行業快速落地AI應用,但仍需要應用能有更大發展,才能讓市場發展起來。“決定AI在企業中應用深度和廣度的並不是模型價格,而是如何將內部知識加載進去在應用層面廣泛接入的問題。大模型一體機主要是本地化部署,解決數據隱私問題。而大模型要先有應用價值。之前大模型一體機的落地,就遇到經濟價值不夠高的問題。”
談及未來大模型一體的市場空間,一名運營商雲相關負責人告訴《科創板日報》記者,如果是在醫療、教育等領域的工程化類的項目,智慧醫療、智慧教育、智慧農業,未來可能會把一體機部署在客戶現場,接入相關行業場景的知識庫。然後訓練出與應用場景密切結合的AI模型,同時集成到應用環境當中,給B端的企業提供服務。”
▍國產算力能否支撐DeepSeek滿血版大模型部署?
《科創板日報》注意到,DeepSeek大模型一體化方案不少採用了國產算力芯片。
中國電信息壤智算一體機-DeepSeek版,在硬件層面以華爲昇騰芯片爲基礎,提供8卡、16卡、32卡等多種規格型號。聯想集團與沐曦聯合發佈基於DeepSeek大模型的一體機解決方案,以“聯想服務器/工作站+沐曦訓推一體GPU+自主算法”爲核心架構。
京東雲的DeepSeek大模型一體機,支持華爲昇騰、海光、寒武紀、摩爾線程、天數智芯等國產AI加速芯片。
優刻得相關負責人對《科創板日報》表示,已同多家國產芯片廠商完成了對DeepSeek滿血版和蒸餾版開源模型的適配工作。“從測試用戶結果來看,現在可以用起來了。後續優刻得也會繼續同國產芯片公司合作,在能用的基礎上要進行優化達到好用,通過使用量的擴大降低成本,實現便宜用,提升全國產的體驗。”
該負責人也指出,由於DeepSeek開源並不久,故根據市場的使用慣性來看,英偉達的GPU卡仍爲當前中大型AI公司的使用主流卡型。“後續我們也會繼續同各類企業對接,提供滿足市場需要的各類AI資源。”
一名AI基礎設施業內人士告訴記者,主流國產芯片已基本實現對 DeepSeek 蒸餾版小模型的兼容支持,不過滿血版V3 和 R1 擁有 6710 億參數,這使得它們對硬件的要求大幅提升,需在推理的解碼部分部署 320 個 GPU,以實現完全的專家並行。
“各家芯片企業都會開展DeepSeek滿血版的適配,但是否真正能夠在幾百張卡上跑起來,並達到比較好的token速率和性價比,這是關鍵。後續各家芯片的比拼就要高下見分曉了。”