2024中國生成式AI大會上海站圓滿收官，AI峰會演講精華一文看盡
智東西（公衆號：zhidxcom）作者 | 智東西編輯部
智東西12月6日報道，爲期兩天的2024中國生成式AI大會（上海站）今日圓滿收官。
兩天內，51位產學研投嘉賓代表密集輸出乾貨爆棚，大會報名諮詢人數超4000人，超過1200位觀衆到場參會。其中，在主會場進行的大模型峰會、AI Infra峰會的線上觀看人次更是超過104萬。
現場參會觀衆們的熱情十分高漲，主會場、分會場座無虛席，展覽區附近的產業交流也十分活躍，15家企業的諸多新產品新技術都引起了廣泛關注和討論。
▲大會展區
此次大會以“智能躍進 創造無限”爲主題，51位產學研投嘉賓代表基於前瞻性視角解構和把脈生成式AI的技術產品創新、商業落地解法、未來趨勢走向與前沿研究焦點。
今天的AI Infra峰會上，上海交通大學副教授、無問芯穹聯合創始人兼首席科學家戴國浩認爲，業界更應該關注單位算力如何實現更高效的token吞吐，大模型實際可用算力不僅取決於芯片理論算力，還可通過軟硬協同優化提高算力利用效率，通過多元異構適配放大整體算力規模。
北電數智智算雲負責人郭文，GMI Cloud亞太區總裁King.Cui，阿里雲智算集羣產品解決方案負責人叢培巖，中昊芯英芯片軟件棧負責人朱國樑，光羽芯辰創始人兼董事長周強分別對全棧AI工廠、AI企業出海如何補齊算力短板、高性能智算集羣、國產TPU芯片“No CUDA”軟件棧、通向個人大模型之路幾個主題進行了分享。
楓清科技創始人兼CEO高雪峰，聲網生成式AI產品負責人毛玉傑，騰訊雲向量數據庫技術負責人謝宇，Jina AI聯合創始人兼首席技術官王楠，Zilliz合夥人、研發VP欒小凡，英飛流創始人兼CEO張穎峰，Alluxio首席架構師傅正佳分別針對“從數據到知識：AI重塑百行千業的基石”、“生成式AI驅動實時互動的技術變革與體驗革新”、“TencentVDB向量數據庫”、“RAG範式下AI Infra的機遇和挑戰”、“RAG雖強，但向量數據庫絕非萬靈藥”、“新一代企業級多模態RAG引擎”、“高性能AI數據底座”帶來了精彩演講。
下午場的圓桌討論聚焦“大模型行至深水區，AI Infra的新變化與新機會”，由德聯資本執行董事劉景媛主持，Alluxio首席架構師傅正佳，Zilliz合夥人、研發VP欒小凡，英飛流創始人兼CEO張穎峰三位嘉賓給出了自己的真知灼見。
大會首日，17位嘉賓暢談大語言模型、多模態大模型、具身智能、AI原生應用、音樂生成、3D AIGC、AI智能體的行業應用、垂類行業大模型等前沿議題。（2024中國生成式AI大會上海站開幕！首日大模型峰會燃爆魔都，17位大咖密集輸乾貨）
除了大會首日主會場進行的大模型峰會，以及今天主會場的AI Infra峰會，大會分會場也在這兩天分別組織了端側生成式AI技術研討會、AI視頻生成技術研討會與具身智能技術研討會，17位青年學者和技術專家帶來了報告分享，後續將會上架這三場收費制研討會的回放。
一、從智算集羣到原生加速技術棧，聚焦產業落地痛點突破大模型算力瓶頸
AI的發展帶來了巨大的數據、算力以及能源挑戰，作爲支撐大模型運行以及生成式AI應用開發的關鍵，AI Infra也走到了臺前，發展勢頭強勁。
如何打造優質的智算中心，如何實現AI從芯片到應用端全產業鏈的高效協同？多位嘉賓給出了自己的深入見解。
1、上海交通大學副教授、無問芯穹聯合創始人兼首席科學家戴國浩
Scaling Law之下，數據成爲制約AI繼續發展的因素之一。以GPT-o1爲代表的推理模型可以突破數據瓶頸，但計算範式的轉變使算力需求呈指數級增長，可能導致硬件系統能耗開銷供不應求，對行業的可持續發展構成挑戰。
對此，戴國浩教授指出，當下業界更應該關注單位算力如何實現更高效的token吞吐，讓大模型的實際可用算力不僅取決於芯片理論算力，還可通過軟硬協同優化提高算力利用效率，並通過多元異構適配放大整體算力規模。他分享了其研究團隊在軟硬協同、多元異構與端側智能方面的研究進展與落地成果，這些成果能助力行業提升面向大模型場景的token吞吐效率。
2、北電數智郭文：以AI工廠填補國產算力供給側與需求側的產業鏈斷層
“產業要發展，創新不能只是停留在技術層面，更要從流程、系統和組織進行全面的創新。”北電數智智算雲負責人郭文分享了從算力、算法、數據與生態方面全面構建人工智能時代AI生產線的實踐思考。
郭文稱，當下國產芯片落地人工智能產業的最大問題是，算力供給側與需求側之間存在產業鏈斷層。爲此，北電數智推出首個“國產算力PoC平臺”，以北京數字經濟算力中心爲載體打造具備全棧能力的AI工廠，全線適配與拉通場景、模型到芯片層面，推動智算中心從成本中心轉化爲推動地區發展新質生產力中心。
3、GMI Clould King.Cui：高穩定GPU集羣成AI企業全球化佈局關鍵
中國AI出海加速，算力作爲其中的核心生產資料正發揮重要作用。高穩定性的GPU集羣能降本增效，幫助企業在AI全球化浪潮中取勝。
GMI Cloud亞太區總裁King.Cui提到，爲確保GPU集羣的高穩定性，他們使用了具備主動檢測功能的自研雲集羣引擎，實現計算、存儲和網絡資源的高效調配。
GMI Cloud是NVIDIA Top10 NCP，交付前會進行嚴格的驗證流程。GMI Cloud與IDC協作，提供備件和維修，擁有更短的交付時間，確保停機時間最小化。
4、阿里雲叢培巖：靈駿智算集羣不僅要實現穩定性和極致性能，更要在不同維度支持規模的極致擴展
阿里雲智算集羣產品解決方案負責人叢培巖預測，未來模型性能還會隨參數，數據集和算力的增長繼續提升，Scaling Law仍有增長空間，AI智算集羣的設計範式轉向要以GPU爲核心。
阿里雲推出支持超大規模分佈式訓練的靈駿智算集羣，可達到10萬卡擴展規模，千卡規模線性加速比達到96%；阿里雲自研磐久服務器採用CPU和GPU分離，實現單機提升至16顆GPU；網絡架構HPN7.0最大規模可連接10萬顆GPU。
智算集羣穩定性至關重要，阿里雲3千卡規模智算集羣，在一個月內穩定訓練時長佔比達99%。
5、光羽芯辰周強：解決“大模型不懂你”問題，個人大模型迎來機遇
作爲與通用大模型、行業大模型、企業大模型並行發展的一大分支，個人大模型也進入了快速發展期。光羽芯辰創始人兼董事長周強稱，個人大模型解決的是“大模型不懂你”的問題，隨着手機、PC、可穿戴、XR等端側設備廠商All in AI，個人大模型之路將越走越寬。
他提到，個人大模型也稱爲端側大模型，期待解決端側智能體在性能、功耗和成本方面的痛點，讓真正的AI手機走進生活。端側AI具備及時性、可靠性、成本低、隱私保護和定製化五大優勢。目前，構建端側大模型的核心是解決存儲帶寬和容量雙重問題。
6、中昊芯英朱國樑：國產TPU芯片“No CUDA”軟件棧的構建實踐
中昊芯英芯片軟件棧負責人朱國樑介紹了他們在爲國產TPU芯片構建“No CUDA”軟件棧的實踐經驗。
中昊芯英剎那芯片採用VLIW指令集架構，面對龐大的CUDA生態，他們逐一解決了庫、並行計算與編程方面的問題，全自研用戶態和內核態驅動，實現了芯片的高效管理。
爲做好生態兼容，中昊芯英底層軟件棧兼容PyTorch以及所有主流訓推框架，目前，中昊芯英可提供定製的端到端的雲智算解決方案，並支持國產操作系統。
二、從企業智能體、向量數據庫到RAG，AI Infra基礎軟件涌現諸多新挑戰
下午場，多位嘉賓進一步分享了AI Infra領域關於智能體開發管理平臺、實時語音、向量數據庫、向量模型、RAG技術、數據編排等方面的行業觀察和深入見解。諸多新平臺、新產品、新技術走向前臺，賦能產業。
1、楓清科技高雪峰：從數據到知識，跨越生成式AI與決策智能間的鴻溝
楓清科技創始人兼CEO高雪峰談道，要將生成式AI真正應用到企業決策場景中，彌合其與決策智能之間鴻溝的技術突破點，就是在推理框架側融合符號邏輯推理。
企業智能化落地需要面臨數據孤島、數據整合、知識校驗、數據實時效等技術挑戰。楓清科技可以爲企業提供知識引擎與大模型雙輪驅動的新一代智能體平臺，通過構建全鏈路優化體系，幫助企業提升數據質量，將企業本地數據知識化，並融合大模型沉澱的泛化能力，在知識網絡之上進行符號邏輯推理，實現可解釋的智能，進而使AI在多個場景下能夠實現精準、透明的決策支持，推動企業智能化轉型的順利實施。
2、聲網毛玉傑：生成式AI+實時互動，讓人機交互變成真正的心靈交互
聲網生成式AI產品負責人毛玉傑講述了生成式AI出現後實時互動（RTE，Real-Time Engagement）技術和體驗的變遷。
毛玉傑介紹，2014年至今十年，RTE從服務質量走向體驗質量；2025年開始，在生成式AI發展的背景下，RTE向AI RTE變革，開始注重跨模態體驗質量，做多模態交互、跨模態轉換，爲人和模型而設計，給大模型廠商提供眼睛、耳朵和聲音能力。
毛玉傑說，目前人機對話已經達到“聽得懂”的狀態，期待下一步實現“聽得心”——讓人機交互變成真正的心靈交互。
3、騰訊雲謝宇：向量數據庫助力企業挖掘更大數據價值
AI時代，向量數據庫（VDB）脫穎而出，成爲連接結構化與非結構化數據的樞紐。然而，當VDB被運用於RAG場景時，多款開源RAG架構出現了召回率低的問題。
騰訊雲向量數據庫技術負責人謝宇介紹，爲解決上述挑戰，騰訊首先提升了複雜文檔的識別效果，並對數據處理、Embedding、檢索、總結等其他環節進行優化，最終實現了90%以上的召回率。
騰訊自研向量檢索引擎OLAMA已上線5年，日均處理8500億次檢索請求。未來，他們還將在性能、成本、業務效果、容災率等方面發力，持續提升產品表現。
4、Jina AI王楠：長文本大模型、RAG長期共存，長窗口向量模型面臨兩大挑戰
大模型存在幻覺、無法保證私有數據安全、推理成本高三大問題，Jina AI聯合創始人兼首席技術官王楠認爲，RAG正是通過縮小大模型生成範圍，保證檢索準確性、實現結果可溯源，所以長本文大模型不會取代RAG，二者將長期共存。
短窗口會導致上下文背景信息丟失，因此RAG需要長窗口向量模型支持。但長窗口向量模型面臨兩大挑戰，一是推理成本和內存消耗會隨窗口長度呈平方線性增長，共享GPU是解決思路之一；二是長窗口使模型無法完整表示細顆粒度語義，解法是增加向量維度和多向量表示。
5、Zilliz欒小凡：向量數據庫落地面臨成本及擴展性挑戰，RAG轉爲Graph RAG
Zilliz合夥人、研發VP欒小凡分享了向量數據庫目前面臨的挑戰以及相應解決方案。
欒小凡稱，2025年新生成的數據中，將會有80%以上是非結構化數據。在這一數據壓力下，向量數據庫的落地面臨着成本以及擴展性等方面的種種挑戰。而目前的RAG存在搜索質量難、處理長尾查詢能力差、結果難以解釋和控制、向量存儲成本高等問題。
據此，欒小凡及其團隊提出了兩個解決思路：一是混合查詢，在單個系統內支持密集嵌入、稀疏嵌入和詞彙搜索；二是Graph RAG，將知識圖譜和向量檢索結合起來。
6、英飛流張穎峰：多模態RAG新範式
英飛流創始人兼CEO張穎峰認爲，RAG作爲LLM時代的數據庫，目前面臨着三大挑戰——多模態文檔處理、檢索、語義鴻溝。
針對第一個問題，英飛流訓練了深度文檔理解模型，能對複雜文檔中的多模態內容進行分類處理。而在檢索這一RAG“最後一公里”的問題上，英飛流使用三路召回方案，並增加張量索引進行重排序，這一方案在多模態RAG上展現出明顯優勢。
最後，針對檢索過程中的語義鴻溝，英飛流使用GraphRAG抽取知識圖譜，並與原數據進行聯合檢索，提升檢索質量。
7、Alluxio傅正佳：零改造、無侵入策略，打造高性能AI數據底座
Alluxio首席架構師傅正佳談到了提升大規模模型訓練效率的兩大挑戰：一是數據規模不斷增長、類型更多元化，因此處理數據需要提升算力有效利用率；二是當數據喂到訓練平臺上，數據IO訪問瓶頸會導致算力處於低利用率狀態。
這一背景下，Alluxio提供了統一的數據視圖、豐富協議轉化、高性能數據訪問，以打造整體數據服務。其方案通過零改造、無侵入策略，可以使算法工程師仍按原有方式工作，無需改變已有腳本，並且客戶已經有的大量存量數據不需要進行私有化協議改造。
三、AI 2.0時代，大模型行至深水區，AI Infra迎來變革
在圓桌論壇環節，幾位嘉賓分享了對於“大模型行至深水區，AI Infra的新變化與新機會”這一主題的行業洞察，以及各自公司的產品和技術是如何解決AI應用中的核心痛點的。
作爲主持人的德聯資本執行董事劉景媛提到，兩年前，ChatGPT將生成式AI推到臺前，迎來AI 2.0時代，Scaling Law和數據量的大規模增長給AI Infra帶來了非常大的增量機會。兩年後的今天大模型行至深水區，AI Infra在幫助大模型及相關產品的落地的過程中，產品邊界和功能需求逐漸明晰。
▲劉景媛
對於Infra這類研發週期長、工程複雜程度高的軟件產品，開源社區或許可以貢獻一些能量，使產品迭代及技術選型更貼合實際需求，同時提升項目本身的關注度和影響力。
另外，“go global”也幾乎成爲Infra軟件的必選項，一方面有商業的考量，另外中國工程師的勤奮和工程攻堅能力全球有目共睹。值得關注的是，在資源有限的情況下也要做好取捨（無論是功能方面還是業務模式方面）。
Zilliz作爲向量數據庫企業，其產品可以處理大體量非結構化數據，挖掘數據價值。對AI 2.0時代的需求變化，Zilliz合夥人、研發VP欒小凡認爲，AI技術在去年被高估、今年被低估，往後看AI落地還需要等一個機會，這也是整個範式的發展機會。
談到開源，欒小凡感慨道，Zilliz目前正處於最具挑戰的階段，一方面要讓產品滿足客戶需求，另一方面要讓產品變現。
▲欒小凡
當下，AI Infra公司出海已經成爲必答題。欒小凡認爲出海的前提條件就是產品要有先發優勢，在擴展性、功能等方面碾壓競品。產品定製方面，欒小凡的觀點是Zilliz幾乎不做定製。原因在於其所處的賽道已經足夠大，沒有必要執着於將自己打造成大而全的平臺。
AI時代，數據量的暴增對存儲提出巨大挑戰。Alluxio首席架構師傅正佳介紹，他們通過分佈式數據編排軟件系統，高效連接存儲與計算。Alluxio很早就注意到存算分離的趨勢，並在數據遠程訪問環節重點發力，迴應了AI存儲挑戰。
Alluxio的存儲系統兼具開閉源版本，傅正佳認爲開源幫助他們保持了與技術前沿的同步，也打出了知名度，但他們也面臨着商業化和部分開源用戶貢獻程度低的問題。Alluxio目前正積極出海，傅正佳分享，海內外團隊的優勢互補與產品的本地化是其中的關鍵。
▲傅正佳
英飛流創始人兼CEO張穎峰稱，RAG用起來很容易，但做好非常困難。公司能做成RAG的核心在於，把做系統的人和做AI的人融合在了一起去做產品。
談及開源，張穎峰說，開源是商業化的一種策略，而不是爲了開源而開源；爲了出海必須開源，但創業第一天就要想明白產品企業版和開發者版之間的區別。
▲張穎峰
目前英飛流的Infra產品還沒有進入商業化階段，結合過往創業經歷，張穎峰稱，商業化過程中，創始人必須對每個產品的特性和定製化的邊界有非常清晰的認識。
結語：生成式AI產業化落地加速，上中下游全產業鏈呼喚合作共贏
過去一年，生成式AI的發展度過了波瀾壯闊的一年，整個產業鏈成爲全球創新、投資和應用最活躍的領域之一，每位參與者都在與時間賽跑。
Sora掀起視頻生成熱潮，多模態世界模型的研究熱度漸起。更具革命性的推理模型o1悄然出世，基座大語言模型不再持續狂飆，不僅價格戰、營銷戰硝煙燃起，融資熱度降溫，Scaling Law是否撞牆更是在年底引發熱議。
行業賦能持續進行，包括智能體在內的應用層的興起仍然備受期待。同時，大模型向邊端下沉的趨勢日趨明顯，AI手機、AI PC等AI硬件紛紛站上風口。不止AI硬件，大模型驅動下的具身智能更是熱度空前，人形機器人正開啓星辰大海。
作爲智能產業的長期觀察者，我們期待見證並記錄中國生成式AI浪潮之變，並將持續邀請這股浪潮中的生力軍們，分享他們最新的技術進展與商業化探索。
隨着今日爲期兩天的2024中國生成式AI大會（上海站）圓滿收官。2025年線下大會也將正式啓動，除了1月14日的全球自動駕駛峰會，圍繞AI芯片、生成式AI等領域的線下大會也已規劃上了，敬請期待。