對話階躍星辰姜大昕：Sora技術有侷限，多模態理解生成一體化纔是未來
不同於兩年前的百模大戰時期誰都可以喊一句“衝擊AGI”，如今創業公司再堅稱自己以此爲目標已經不是一種主流行爲——但這仍是階躍星辰要在2025年延續的敘事。
5月8日，階躍星辰創始人兼CEO姜大昕進行了一場技術溝通會，強調公司的技術追求並對未來技術趨勢作出判斷。對於公司從Day 1起便明確的“單模態—多模態—多模理解和生成的統一—世界模型—AGI（通用人工智能）”路線圖，他也予以明確了當下時刻的定位。
幾乎以低調貫穿整個成立初期的階躍星辰，從去年下半年起主動對外釋放更多聲量，開始打一場水面之上的仗。
這些聲量大都圍繞模型進展。成立兩年，公司累計發佈22款基座模型，覆蓋文字、語音、圖像、視頻、音樂、推理等系列。其中有16款是多模態模型，又分屬圖像理解、視頻理解、圖像生成、視頻生成、圖像編輯、音樂生成、多模態推理等方向。
區別於行業更常見的圖像模型、音頻模型、視頻模型等不加區分的定義和命名方式，階躍星辰格外強調多模態模型“理解”與“生成”的單一屬性。這與這家公司選擇的AGI路線以及即將要突破的關鍵節點息息相關。
“從模仿學習走向強化學習，以及從多模態融合走向多模態理解與生成一體化，是當下大模型發展主要呈現的兩個趨勢。”姜大昕開場點明瞭這一主題。
第一條趨勢行業並不陌生，這是OpenAI去年9月通過o1-preview掀起的模型訓練範式革命，並且主導了接下來數月幾乎所有大模型公司的迭代方向。隨着推理模型與後訓練成爲業界共識，文本模型的技術路線相對收斂，這裡的格局變換已不如從前那樣日新月異。
另一條趨勢屬於多模態模型，這是一個最優技術路徑尚不明朗的領域，階躍星辰在此押下重注。
“有一句話我在很多場合不停重複——我們認爲多模態是實現AGI的必經之路。”姜大昕指出，無論是從人類智能的多元化角度（符號智能、視覺智能、空間智能等），還是從垂直領域AI應用需求來說，大模型的多模態能力都必不可少。
這家公司進一步判斷，在多模態模型領域，理解與生成統一是其核心問題。
文本大模型的理解與生成已經由GPT類模型實現統一，但在視覺領域，內容的理解與生成仍普遍採用不同模型，例如用GPT-4o來理解圖片，但用Flux、Stable Diffusion等來生成圖片。
爲什麼一定要做多模理解與生成的統一？姜大昕解釋稱，一方面生成的內容需要理解來控制，確保內容具備意義和價值；另一方面，內容的理解需要生成來監督，也即“只有能夠生成的時候才意味着真正的理解了”。
從統計學角度看來，相比文本模態的低維度離散分佈，視覺模態的高維度連續分佈造就了模型學習更高的複雜性。
這使得文本模型的NTP（Next-Token-Prediction）還無法順暢平移爲視覺模型的NFP（Next-Frame-Prediction），也意味着屬於視覺模型的可規模化理解生成一體化架構尚未出現——這正是Transfomer架構之於GPT等文本模型的重大意義。
姜大昕坦言，視覺領域的確處在一個等待“Transformer架構”出現的階段，而行業也在探索多個不同方向，公司當前的目標是要自己把“Transformer”做出來。
在他看來，擁有了這一架構的視覺模型，可以效仿文本模型的路徑，順利邁入海量圖片和視頻預訓練及指令跟隨的GPT-3階段，並可能加速進入融合了強化學習的視覺時空推理階段，直至誕生世界模型。
這也是爲什麼他會說，“一旦視覺模型理解與生成一體化的問題被解決，之後的路線會非常順暢”。
作爲該技術目標的最新進展，階躍星辰近期發佈了圖像編輯模型Step1X-Edit，多模態推理模型Step-R1-V-Mini，以及圖生視頻模型Step-Video-TI2V。姜大昕指出，Step1X-Edit實現了初步的理解與生成統一，但還可以在架構和數據上做進一步優化和打磨。
技術路線之外，階躍星辰梳理出了一條更明確的商業化路徑。
除了此前已有的ToC（用戶）產品嚐試和ToB（企業）合作模式，階躍星辰將在應用層重點發力的方向是AI Agent。不過相較於自己做一款Manus類的產品，公司選擇聚焦智能終端Agent領域，也就是與手機、汽車、機器人等終端廠商合作，以端雲結合平臺的角色構建智能終端的Agent生態。
作爲一家已融資數億美元的B輪創業公司，這場溝通會沒有大談用戶規模、商業模式、盈利能力，更多話題還是圍繞如果要實現AGI，公司要如何翻越既定路線上的某一座山頭。這種氛圍在當前行業熱議AI應用公司如何火熱、掙錢的喧囂襯托下，頗有一種反差。
此外，姜大昕還接受了界面新聞等媒體採訪，更細緻回答了有關多模理解與生成統一技術路徑的相關問題，以及對模型訓練與商業化的基本判斷。
以下爲姜大昕採訪實錄，略作編輯：
媒體：躍問最近改名階躍AI了，原因是什麼？公司過去一年發佈過一些C端產品，目前對這個方向有什麼經驗總結？
姜大昕：去年大模型還沒有出現這麼強大的多模態和推理模型，我們看到的產品就幾類，Chatbot，AI陪伴，還有Runway、Pika這樣一些AIGC應用。那時候大家其實沒有特別明確的方向，只是因爲有這樣的模型能力，所以產生了這樣的應用。這是產品探索的早期階段。
今年因爲多模態能力和推理能力的進一步成熟產生了Agent，我們看到非常多像Deep Research或者Manus這樣的新應用。
我們的變化是想聚焦到Agent領域。而之所以改名階躍AI，是因爲它要從Chatbot類產品向加入更多Agent能力的產品做轉變。
媒體：階躍的策略是超級模型+超級應用，這也是包括字節在內很多大廠在做的事情，這種情況下，很多初創公司已經放棄通用大模型了，階躍爲什麼還會堅持？
姜大昕：這裡面分幾個層次去講，第一，現在這個行業趨勢還處於一個技術非常陡峭的區間。
我會很感慨，AI行業裡面的發展變化確實是太快了。如果大家回到去年想一想，就覺得GPT-4是多麼牛的東西，今天它都要快下架了；去年Sora剛出來的時候給大家多大的震撼，今天回過頭看，都覺得Sora有什麼神奇的。而今年無論做出什麼很牛的技術，可能明年回頭看會覺得微不足道。
在技術發展如此快的行業背景下，階躍肯定不願意在這個過程中脫離主流，或者說放棄這樣的前進趨勢，還是會堅持做基礎模型的研發。
第二，從應用的角度來看，我們一直覺得應用和模型是相輔相成，模型可以決定應用的上限，應用給模型提供具體的場景和數據也非常重要。所以我們的產品形態隨着模型的演變動態發展，這樣的邏輯關係會一直保持下去。
媒體：在Agent這件事情上，爲什麼會選擇一個類似供應商的身份，而不是自己下場做一款直接ToC或者ToB的Agent產品？
姜大昕：這個東西很新，我們更好的選擇就是找到頭部企業合作。它們已經有了大量的用戶和場景，我們才能嘗試這個模型究竟怎麼做。
如果我們上就來做ToC，第一件事情就得是user grow（用戶增長）。所以我們先和這些企業一起合作，如果這件事情探索清楚了，至於說將來我們是不是自己做，我覺得都是有可能的。
這裡還有一個很誘人的場景，就是現在所有的設備都是孤立的，對於一個用戶來說，他當然希望AI Agent能夠跨設備。那麼這件事情應該誰來做，肯定有很多人在思考。
媒體：公司最近在算法層面更加重視理解生成一體化整合，這個想法是基於什麼樣的邏輯判斷？
姜大昕：我們覺得以Sora爲代表的這一代視頻生成技術，它的上限就在那裡了，很難去突破。下一代突破我們認爲應該是基於理解生成一體化的。
媒體：多模態理解與生成一體化架構很重要，那影響它出現最關鍵的因素是算法，更高質量的數據，還是什麼？
姜大昕：兩個都很重要，首先就是架構的突破，因爲確實不容易。
多模態的高維連續空間，我們很難用一個自迴歸架構去模擬，所以大家不得不採用Diffusion。直白的說，Diffusion就是一步弄不成，就多走幾步，因爲它太複雜了。
但自迴歸架構不讓你走多步，那麼這兩個東西怎麼能連在一起，需要一個架構性的東西，這是算法層面需要解決的問題。甚至有可能把自迴歸和Diffusion結合在一起這個方向也是錯的，這裡面有非常多的不確定性。
有了技術以後，第二步就是數據。所有的人工智能裡面數據都非常重要，有了架構但沒有合適的數據訓練它，就如同一輛車沒有石油，你還是不能跑。
媒體：你剛剛好像有提到，OpenAI最新的GPT-4o已經實現了理解與生成一體化？
姜大昕：我們只是猜測，因爲它從不公佈技術細節。它的做法應該是把理解和生成放在了一個模型裡面，但這個東西是不是scalable（可規模化），我們不知道。
媒體：怎麼判斷它是不是scalable？
姜大昕：它肯定要做到predict next frame，或者說如果OpenAI有一天推出了一個不叫Sora的視頻模型，很可能就是做通了。
事實上去年Sora出來的時候大家都很興奮，但我們是非常失望的，因爲我們覺得它的主線應該是做理解生成一體化。
回過去想也是有道理的。從多模融合一步走到理解生成一體化太難了，所以乾脆兩個獨立往前走，互相促進，有點像左腳踩右腳。因爲它在Sora裡面也說了，它拿着GPT-4o給數據打標註。
有了生成以後是不是能夠幫助理解，可能就是需要迭代幾輪以後再到理解生成一體化，但總的方向肯定是能夠predict next frame。這個問題不解決，後面有很多問題都到不了那個程度。
媒體：多模態理解與生成一體化這個技術方向目前還沒有收斂，對標語言模型的話，它大概處在哪個發展階段？
姜大昕：應該是在Transformer的階段，Transformer是2017年出來的，GPT-1是2018年，這個架構應該早於“GPT”。
媒體：階躍目前研發的模型很多，如果下一步理解生成一體化尤爲重要的話，爲什麼我們不把所有的力量都集中去做它？
姜大昕：我們也想這樣做，但不行，因爲理解與生成一體化是非常要求綜合素質的一個考驗。首先你要理解，如果語言模型不強就談不上理解。其次你要做推理，視覺推理是視覺理解的升級。再者還有生成端，這也必須得做。
所以不是我們不夠focus（專注），要做這件事，就必須要做到所有條線能力都非常強，組合起來去探索它的路徑。
媒體：解決理解與生成一體化這個問題之後，你認爲視覺模型應該達到一個什麼樣的狀態？
姜大昕：你給它一個電影的開頭，它能夠一直往下編，並且大家認爲還挺有道理的，連續、符合邏輯、符合物理規律。如果它能持續這樣做下去，這至少可以說明它的預訓練做成了。