3D版抖音有望誕生,零門檻3D創作時代來臨|VAST宋亞宸@MEET 2025

全球用戶累計生成700萬3D模型,海外上千用戶上傳自己生成的3D動畫短片……

這就是3D大模型公司VAST及其旗下3D大模型“Tripo”系列的傲人成果。

相比於文字生成、圖片生成、視頻生成,3D生成技術的發展更像AIGC賽道的隱形前行者,但其實到了今天,輸入語段文字或圖片,已經可以得到一個完整的、有價值的、可用的3D的模型。

在量子位MEET 2025智能未來大會上,VAST創始人兼CEO宋亞宸帶來了他所看到的3D生成的世界,以及3D生成賽道的新的機遇。

爲了完整體現宋亞宸的思考,在不改變原意的基礎上,量子位對演講內容進行了編輯整理,希望能給你帶來更多啓發。

MEET 2025智能未來大會是由量子位主辦的行業峰會,20餘位產業代表與會討論。線下參會觀衆1000+,線上直播觀衆320萬+,獲得了主流媒體的廣泛關注與報道。

(以下爲宋亞宸演講全文)

我們公司VAST是一家做3D大模型的公司,希望大家能夠在我的分享當中找到自己喜歡的一些有意思的點。

先給大家介紹一下什麼叫作3D大模型。

我們的3D大模型叫作Tripo,它的功能非常簡單,輸入一段文字,或者說一張圖片,當然也可以同時輸入圖片、視頻等不同模態,就能輸出一個完整的、有價值的、可用的3D的模型。

它的表達方式是mesh,帶貼圖材質PBR,並且可以在像遊戲、動畫、元宇宙、XR、MR,包括數字孿生、仿真模擬等等行業裡去用起來。

同時我們做了很多有意思的風格化,比如像素化、樂高化、網絡化等,可以讓大家端到端地在各個行業裡面使用,例如3D打印、鞋服傢俱等場景。

我們不只做了靜態的模型,還做了骨骼的自動綁定,動作的生成,也就是用戶可以在3D空間裡進行實時交互,和朋友社交,一起探索新的世界。

相較於語言大模型、圖片大模型、視頻大模型,3D生成模型(及背後技術)可能比較新。

2024年年初Tripo1.0剛剛發佈的時候,我們認爲它的水平類似於手機攝像頭360p分辨率的水平;現在Tripo2.0上線,成熟度已經達到了類似於720p分辨率的水平;明年,Tripo的成熟度會達到1080p、甚至4k的水平。

雖然3D生成技術現在還是半成熟的狀態,但是發展速度是非常快的。

來到量子位的MEET2025大會,我們想“炫耀”一下我們的論文。

2023年,VAST發了一系列論文,包括六投六中的CVPR,還有ECCV 、SIGGRAPH;今年又發了幾十篇新的論文。剛剛在東京結束的SIGGRAPH Aisa,我們拿了Best Paper Honorable Mention,技術團隊上週剛剛從東京領完獎回來。

VAST還做了很多開源的社區貢獻,這個也非常關鍵。

我們開源的項目包括世界最大的3D生成算法框架ThreeStudio、圖生3D的鼻祖Wonder3D,還和Stability AI一起開源了TripoSR。最近又開源了一些新的項目,也歡迎大家關注。

技術層面上,我們認爲主要分3步走——

第一步是靜態的內容生成。這個很好理解,就像生成一個個雕塑。

第二步是動態的內容生成。原本靜態的雕塑可以動起來,和用戶互動(甚至可以把雕塑的頭擰下來當頭踢)。

第三步,我們認爲明年年底之前,每個人都可以零門檻、零成本地進行實時的3D內容創作。

大家可能會問,除了愛玩遊戲,我本人還有什麼別的理由要要投身3D生成技術領域?

3D其實非常特殊。文字、圖片、視頻、3D包括音頻這些信息載體或內容媒介中,3D是一直缺乏屬於自己的UGC內容平臺的內容媒介的。

所以說我們認爲,3D版抖音是有機會誕生的。

可以看到,不管在移動互聯網時代還是互聯網時代,文字、圖片、視頻的UCG內容平臺,一直是巨頭之所以爲巨頭的關鍵路徑。那麼3D是不是也會有自己的類抖音平臺?

經過VAST自己和一些合作伙伴的大量嘗試,我們發現3D現在的創作門檻還是太高了,還是缺乏一個屬於自己的“攝像頭”——你很難想象沒有手機攝像頭,你怎麼玩小紅書、怎麼用抖音去分享你自己每天的生活。

3D是不是有機會先出現一個大衆級別的創作工具,降低用戶創作的門檻、降低用戶創作的成本,並且讓大家實時進行創作,纔有機會誕生一個所謂的3D版抖音。

那麼這個大衆級別的創作工具是什麼?就是剛剛提到的3D大模型。

我們認爲在第一階段,也就是截至快結束的今年,3D生成技術已經達到720p分辨率水平,並聚攏百萬級開發者;到了2025年,開發者數量會達到千萬級別。

這些AI 3D的原生創作者,不會再去做很重磅的遊戲。就像之前米哈遊創始人蔡浩宇講過的,未來0.0001%的頂尖人才還是會繼續做遊戲,但99.99%的人其實轉向根據自己的興趣隨意創造遊戲。

到2026年,這些原生的AI 3D創作者會探索出一些新的3D內容範式,這就需要有一個全新的UGC 3D內容平臺去承載和分發。

而且現在還處於第一階段時,3D生成已經在一些場景裡實際落地了,比如說傳統的CG、遊戲、動畫、影視、虛擬製作,還有傳統的TMT,涉及到直播、教育、電商等等;還包括傳統的工業、3D打印、工業設計、鞋服、家居、首飾、玩具、文具、燈具、香薰、蠟燭、文創、食品等行業;當然還包括所謂的新興行業,也就是空間智能(這個行業會得到長足的發展),比如說元宇宙、XR、MR、具身智能的仿真模擬、數字孿生、數字人等。

3D生成已經解決了一些核心的問題:

同時我們還可以實現規模化和個性化。

目前,全世界前十的3D打印公司裡,超過一半是我們的客戶,並且已經上線使用了。

原來的3D打印在全世界有幾百萬人羣,他們都不會建模。現在每個人都能用AI 3D的能力建自己的模型,生成一條賽博朋克的魚,或者皮卡丘和鋼鐵俠的結合體,生成後再打印出來,就擁有自己獨一無二的手辦了——這是完成定製化的需求。

於是,有很多首飾、手辦、積木玩具的廠商,可以利用AI 3D快速生成自己想要的款式,然後放到市面上看大家的反饋。尤其最近要過年了,還能快速做一些定製化的toB禮盒。

除了用於商業化場景,其實每一個人都可以做自己想要的3D的工業設計和產品需求,包括我自己。

所有的普通用戶都可以在Tripo3D.AI裡生成自己想要的工業設計,而且和想象中一模一樣,然後直接打印出來,比如做一套自己的國際象棋棋子。

今年年中,VAST在海外有上千個用戶上傳了自己用Tripo生成的一部部動畫。

這就是3D生成現在已經達到的成熟度。

我不會建模,沒有學過Blander、Maya、3D Max,也不會Unity或者UE,我也不是一個3D內容創作者。但我自己嘗試借用Tripo的能力,花了一個早上的時間,做了人生中第一部動畫。

所以我敢說,現在已經能夠讓每個人零門檻地去創作這麼有意思的3D內容。

我們的用戶裡有一個哥們特別有意思。

他用Tripo生成了幾百個3D模型,拼成了一個太空站,做了倆視頻,覺得自己很牛,發了一個推特,馬斯克覺得也很牛,就轉了,在全球範圍內有1億的播放量。

還有另一個創作者也非常有意思,他用我們的3D生成能力搭建了一個自己的XR空間。

他把每天遇到的開心、糟心的事情告訴AI,AI根據內容生成各種各樣有意思的手辦、城堡,像是一本3D日記。他既可以邀請別人來逛他的3D日記本,也可以邀請大家來這裡一起創作。

我想說的是,在XR的時代,當虛擬現實世界到來了以後,我們看到3D生成會帶來一種新的交互形式,就像一個成語形容的那樣,“言出法隨”。

在虛擬現實的世界裡,很重要的一個核心技術,就是成熟的3D生成技術。

最後介紹一下VAST的slogan:

感謝大家的時間!