火山引擎的新產品，字節和 100 多家企業的大模型實驗場
2002 年夏天，亞馬遜發佈了雲服務平臺 Amazon.com Web Service，開發者可以通過互聯網調用亞馬遜的 “寶貴資產”——商品數據庫，比如書名、出版書號、價格信息。在淘寶還沒誕生的年代，這是個開創性的做法，不過這很顯然也沒什麼價值。當時基於它做出的最有用的產品可能是發書號查售價。
但之後經過 4 年的需求探索、產品迭代，這個平臺往前走了一大步，發佈了通過互聯網調用存儲空間的 S3 服務和調用算力的 EC2，最終演化爲全球最大的雲計算平臺 AWS，撐起萬億美元市值。
突破性的新技術、偉大的產品誕生之初，往往都是從一些前景不明的實驗開始，經過一次次迭代找到與市場需求的契合點，再發展壯大。YouTube 最早是一個視頻約會網站，字節的第一個內容產品沒用上推薦算法，iPhone 誕生時沒有應用商店。
現在的大模型應用就在這樣一個階段。消費者甚至開發者已經開始質疑市面上的 AI 應用到底有什麼用。數據調研機構 IDC 在 9 月發佈報告稱，市面上率先發布的 Chatbot （聊天機器人）應用，無論定位是個人助理還是情感陪伴助手，30 日用戶留存率都普遍較低，只有 6% 左右。
整個行業都在尋找突破口。OpenAI 不斷給 ChatGPT 疊加新功能；微軟、Google 等海外大公司把 AI 應用嵌入成熟的互聯網產品中，帶動更多用戶使用；所有公司在過去一年都看上了 Agent（智能體），讓大模型調用工具和數據庫，找應用前景。
字節跳動沒有放過任何一種可能性，除了開發 10 多個直接面向消費者的大模型產品，也在企業服務市場全面佈局。
12 月 18 日，字節跳動旗下雲計算平臺火山引擎舉辦冬季 FORCE 原動力大會，升級豆包系列基礎模型，推出視覺理解模型，並重點介紹了一款此前外界感知不多的產品——HiAgent。
HiAgent 是一個平臺產品，目標是幫助企業迅速開發大模型應用和 Agent。“如果把豆包大模型比作 Android，那麼 HiAgent 就是企業調度系統能力開發應用的 SDK（軟件開發工具包）。” 火山引擎副總裁張鑫說。
過去一年多，張鑫走訪了上百家企業。他看到多數公司都嘗試開發大模型應用產品，用來提升業務效率，但基本沒有哪個公司當下能判斷，具體怎麼用最有效。
沒人知道大模型未來到底該怎麼用，但也沒人敢錯過這樣一個機會。企業需要一個上手門檻低，能夠快速試錯的大模型應用開發平臺。而這個平臺也需要儘可能豐富的企業參與使用，讓自己快速迭代。
爆款 AI 應用還不明確，先做平臺
HiAgent 不是一個反覆推演終局、謀定而後動的產品。今年 1 月，張鑫有了初步想法後向火山引擎總裁譚待彙報，之後組建了一個十多人的小團隊就啓動開發，邊測試邊迭代。
2023 年初，ChatGPT 的衝擊傳導到國內，引發大模型開發熱潮。火山引擎在 2023 年 4 月舉辦發佈會，譚待說中國做大模型的公司七成在火山引擎雲上。兩個月後，火山引擎發佈的大模型服務平臺 “火山方舟”，爲企業客戶提供大模型精調、推理、評測、部署等服務。
到了年底，大模型雲計算市場格局開始發生變化。隨着海外開源模型的成熟，中國企業從頭自研大模型的熱情開始退卻，直接購買 GPU 算力的客戶大幅減少。有限的客戶也面臨着更激烈的競爭——阿里投資了多家領先的大模型創業公司，一部分投資額度被折算爲阿里雲算力資源。
另一方面，則是大模型調用成本下降，企業客戶開發大模型應用的熱情高漲。火山引擎內部迅速達成共識：大模型的算力使用，將從訓練大模型爲主轉移到使用大模型（推理）爲主。
火山引擎原有的方舟平臺能夠滿足一部分需求，但它依然是一個極其依賴開發和工程經驗的產品。“它本質上是一個高代碼工具。” 張鑫說，對大多數企業來說仍有一定的上手難度。
今年 2 月，字節跳動在國內推出 AI 應用開發平臺釦子，把各種大模型封裝成一個個 API 接口，開發者可以用它快速調用大模型，開發、調試和優化 AI 應用。
釦子擴大了字節大模型企業服務方向的覆蓋範圍，但還是沒有完全解決傳統企業探索 AI 應用的需求。
火山引擎將這種需求概括爲五個方面：AI 專業人才不足、企業擔心數據泄露、專屬應用開發難、集成到業務系統中麻煩和效果難以評估。這些不完善共同構成了 HiAgent 發揮價值的空間。
他們給 HiAgent 設定的目標是更懂 AI 轉型，更深入地適配業務、更看重安全保障，“讓每個人像拼樂高一樣搭建 AI 應用”，具體的做法是把企業開發 AI 應用的工具封裝成 “聊天機器人”“插件”“工作流”“知識庫” 等模塊，方便調用。
在張鑫看來，當前大模型應用的真實需求並不明確，所以敏捷開發、迅速試錯的能力是關鍵。這是字節跳動開發產品的方法論之一，也是火山引擎希望賦予 HiAgent 的核心價值。
爲了刺激企業客戶需求，他們給大模型應用設定了成熟度等級。“企業沒有一個可以循序漸進的路徑，導致他們投資開發 AI 應用時猶豫，不知道該跟着技術發展成長，還是等到技術成熟後一步到位。” 張鑫解釋說，對於開發 AI 應用的企業來說，他們也很難評估身位。
劃定等級是新技術興起時行業的慣用做法，比如自動駕駛領域就有 L0 到 L5，從人類介入的程度來評判技術水平。但此類分級體系往往充斥着大量專業術語。火山引擎則是借用遊戲中的段位 “青銅”“黃金”“王者”，降低理解成本。
火山引擎根據大模型的能力範圍，爲 HiAgent 錨定兩類未來有爆發空間的方向：
從 100 多個客戶的反饋中，提煉出 3 個趨勢
今年 5 月 15 日，HiAgent 正式上線。同期，火山引擎平臺的豆包大模型大幅降價，HiAgent 迅速成爲火山增長最快的企業服務產品之一。
據張鑫介紹，HiAgent 上線 7 個月，已經簽下 100 多個客戶，從寧德時代、飛鶴等不同領域的巨頭，金融行業的華泰證券、國信證券，高校中的浙大、南開等。
這些客戶爲火山引擎帶來新收入的同時，也幫助 HiAgent 迭代。12 月 18 日，火山引擎發佈 HiAgent 的 1.5 版本，核心功能的升級來自他們觀察到的 AI 應用落地趨勢。
開發 AI 應用的人，可以不會寫代碼
HiAgent 上線後不久，火山引擎談下了浙江大學。這次合作出乎張鑫意料。
在浙大這個項目上，他們此前已經做好了準備，要像推廣雲平臺服務時那樣，不僅負責平臺的使用培訓，還要下場開發一些應用，“但上線一週，他們就做出來了 6 款應用，包括科研助手、課堂問答、教務問答、百事通及本地生活助手等。”
開發這些應用的主力是浙大的老師、學生和浙大校園各種信息系統的服務商。“原本應用開發流程，是使用者提需求，讓 IT 開發，容易出現使用者等很久，結果功能沒達到預期的情況。” 張鑫說，“現在最懂業務的人直接變成了開發者。”
在他看來，這個變化意味着，原來雲計算行業經常遇到的兩個麻煩都有了解決的可能。一是大多數雲計算產品都處於軟件底層，企業採購應用後很難直接看到效果。現在開發流程簡單，可以 “所見即所得”。另一個是，雲計算廠商開發的低代碼軟件開發應用經常陷入尷尬：“專業客戶看不上低代碼平臺，覺得限制大；小白客戶覺得難，大多數都不會用。”
火山引擎也在服務國家管網等其他客戶使用 HiAgent 的過程中，看到了類似的情況。基於此，他們爲 HiAgent 設定的第一個功能特點就是 “普敏捷”，看重降低平臺的使用門檻，讓更多人能夠開發 AI 應用。這次發佈會上，火山引擎還發布了 HiAgent 上的 100 種行業 “樣板間”，企業客戶可以一鍵復刻，使用模板開發應用。
想更好解決問題，大模型需要知識增強
另一個讓張鑫印象深刻的客戶是一家頭部電池公司。與浙江大學一週就催生出多大模型應用不同，那家公司的業務場景更復雜，火山引擎和他們投入了數十人、花了半年才推動 HiAgent 初步落地。
火山引擎談下那家電池公司時，對方已經梳理好了上千種可能引入 AI 的業務場景，這些場景覆蓋內部流程提效、研發輔助、市場營銷等多個領域。而且他們已經組建團隊，嘗試開發大模型應用，但通常需要花費一個月甚至更長的時間。
HiAgent 可以加快應用開發的速度，但難以快速解決電池公司遇到的根本問題——如何清洗公司過去 10 多年積累的文檔，把它們變成大模型方便調用解決問題的工具。
在這次合作中，他們也對大模型在企業中應用的侷限有了更深的感受：大模型只能回答問題，並不能提出問題；只能提煉分析知識，不能創造新知識；只能理解特定結構化的知識，無法處理好離散的數據體系；以及無法完全理解現實世界的規律，仍然存在幻覺。
“關鍵是做好知識工程。” 張鑫說，與頭部電池公司合作的大多數時間，雙方都是在做知識增強工作，爲大模型應用發揮作用打基礎。
當前的大模型行業，有一套常用的企業應用開發流程：先用企業專有數據精調大模型或者把它們做成向量數據庫，用檢索增強的方法（RAG）交給大模型調用，以解決問題。
“但數據到知識還有很深的鴻溝，甚至真正的知識並不在企業的文檔或者數據庫裡，而是在員工的腦子和經驗中，以及企業的決策流程中。” 張鑫把他們的行動描述爲一場 “融合技術手段的社會工程”。
基於原有的文檔和數據，他們訪談了一批那家電池公司各個領域的專家，從他們處理業務的行爲模式和交流記錄中提取信息，建成知識庫。訓練好模型之後，他們召集了一批員工給模型的答案反饋，做基於人類的反饋強化學習，根據現實的情況校準模型（對齊）。
在這個判斷的基礎上，火山引擎提煉出 HiAgent 的第二個功能點 “圖知識”，用 GraphRAG 等技術，更好地處理離散的文檔和碎片化的信息，建立知識之間的關係信息，幫客戶梳理更能發揮大模型能力的知識庫，從而提升大模型的邏輯推理能力。與傳統 RAG 相比，GraphRAG 也能讓大模型的回覆更準確。
“沉澱知識資產，是客戶更願意買單的地方。” 在張鑫看來，強大的大模型普及會抹平許多企業的競爭優勢，知識增強工程會成爲新的競爭力。
只有大模型聊天機器人不夠，需要更豐富的交互方式
ChatGPT 興起後，驗證了大模型理解、處理自然語言的能力，行業中也加大了對自然語言交互的關注，並形成共識：自然語言交互（LUI）將變得更加普遍，會是大模型時代的主要交互方式，就像手機與電腦時代的圖形交互（GUI）那樣。
聊天機器人也成了大模型應用的主要形態，迅速發展。根據市場調研機構 Mordor Intelligence 數據，2024 年聊天機器人規模將達到 70 億美元，5 年後會增長到 208 億美元。
在電池行業落地 HiAgent 的過程中，張鑫看到只靠聊天機器人做大模型完全不夠。“大模型一定會與企業內部流程和工具的融合”，他說尤其是在嚴肅的生產場景，一定是 “大小模型結合”，許多問題如果讓通用大模型解決耗時耗力，但一個成熟算法反而可以迅速解決。
想把各種大模型應用嵌入到流程中，需要有一個統一的框架或平臺，否則每次開發一個應用，都需要重新與業務系統和各種工具重新對接。火山引擎的做法是，把企業內部系統中用到的工具、算法，做成方便大模型應用調用的插件，彙總在插件中心方便開發。
現在許多使用 HiAgent 的企業在內部建立了類似的大模型應用系統。火山引擎因此提出了 HiAgent 的第三個功能點 “富交互”，推出融合自然語言交互和圖形交互的 “生成式畫布” 功能。
這些核心功能點之外，火山引擎也給 HiAgent 增加了 “AI 諮詢” 服務，將其作爲一個獨立的商業產品。“大模型應用要做成功，雲廠商的技術只能解決一半的問題，另一半要靠企業。” 張鑫說，企業積累數據和知識，在日常業務中調教 AI 系統是一個漫長過程，雲計算廠商提供的幫助有限，但可以用諮詢的方式，爲他們帶來一些啓發。
大模型 to B，雲計算的新變量
雲計算是一個對後發者不友好的行業。企業長期使用一家雲平臺時，不僅會把數據遷移其中，開發者也會接受雲平臺制定的開發模式。企業想要再遷出會付出很大代價。
雲計算也是一門規模效應明顯的生意。先發者積累大量的客戶後，不僅可以向上下游談判定價，還可以根據用戶使用資源的時間差，賣出更多的算力資源，從而獲得更大幅度的降價空間。
曾在 Google Cloud 工作的張鑫親身經歷過後來者的追趕。Google 一開始想用 Web 應用程序開發和託管平臺 App Engine 取勝。但它不夠簡單，功能也不如企業地內部系統完善，而且當時的客戶更在意彈性的算力和存儲空間等基礎資源。後來 Google 開源了容器化應用程序 K8s，方便使用雲平臺的客戶遷移。
張鑫也因此創辦才雲科技，提供 K8s 爲基礎的雲服務。他觀察到，K8s 讓客戶不再那麼依賴單個公共雲平臺，“但有客戶用了 K8s 後，發現不需要用公共雲了”。2020 年，字節跳動收購才雲科技，張鑫跟着加入火山引擎。
火山引擎副總裁張鑫。
火山引擎正式對外提供服務時，中國的雲計算行業已經發展多年，競爭激烈，但滲透率有限。它們面臨共同的難題：雲計算平臺依賴的電力、帶寬等基礎設施成本不受企業控制，還有很多傳統企業因爲各種原因自建數據中心。
大模型是雲計算市場的新變量。大模型的基礎設施嚴重依賴 GPU，而不是原有云計算平臺曾大力投入、建立規模優勢的 CPU 芯片。在這個增量市場上，所有的雲平臺基本在同一條起跑線上。
大模型的爆發也會催生一批新的創業公司。“它們往往不是雲計算領域的傳統客戶。” 張鑫說，這是一個比肩互聯網、移動互聯網起步的機會，市場上原本的大型雲平臺，都是跟着新技術變革發展壯大。
大模型應用開發更依賴底層的模型和基礎設施。“就算是開源模型，如果沒有一個好的基礎設施，很難跑起來。” 張鑫說，“想要開發一款好的大模型應用，也離不開配套的工具。如果做多模態應用，還要調用語音、圖片等模型。”
2023 年開始，字節訓練了一批基礎模型，囊括語言、語音、圖像生成、視頻生成等所有主流方向。
在這些大模型的基礎上，字節開發豆包、貓箱、釦子 等的 10 多個 C 端產品，其中豆包 App 日活在中國大模型產品中排名第一，遠超第二名。字節還通過火山引擎開放模型 API，搶佔企業市場。今年 5 月，火山引擎大幅降低豆包大模型的調用價格，核心語言模型的定價一度比同行低 99.3%。
到了年中，中國的大模型行業顯露出疲態時，字節進一步加大投入，招攬一批人才。
HiAgent 是火山引擎在大模型企業服務市場的最新動作之一。和 K8s 不一樣，HiAgent 與豆包大模型相互拉動：字節訓練的一系列大模型是 HiAgent 的基礎，豆包 App 等消費者產品也可以爲 HiAgent 等產品導流……反過來，HiAgent 也是企業客戶使用豆包大模型的入口，讓他們快速開發 AI 應用，帶動豆包等基礎模型和算力的消耗，幫助字節迭代和完善大模型基礎設施和產品。
火山引擎總裁譚待介紹，今年 12 月，豆包系列模型的日均 tokens 使用量超過 40000 億，是 5 月的 33 倍。
根據市場調研機構 IDC 數據，今年上半年，沒有投資一家大模型創業公司的火山引擎在中國大模型 IaaS 市場份額排在第二，僅次於阿里雲。
我們瞭解到，火山引擎在大模型領域的增長也在帶動其傳統雲計算服務。目前火山引擎一定比例的 CPU 算力、數據庫等需求來自大模型客戶。
每一輪顛覆式新技術的誕生都是一批公司彎道超車的機會。這既是應用大模型的企業的機會，也是爲企業提供大模型支持的平臺的機會。
題圖來源：《社交網絡》