3D版抖音有望誕生,零門檻3D創作時代來臨|VAST宋亞宸@MEET 2025
全球用戶累計生成700萬3D模型,海外上千用戶上傳自己生成的3D動畫短片……
這就是3D大模型公司VAST及其旗下3D大模型“Tripo”系列的傲人成果。
相比於文字生成、圖片生成、視頻生成,3D生成技術的發展更像AIGC賽道的隱形前行者,但其實到了今天,輸入語段文字或圖片,已經可以得到一個完整的、有價值的、可用的3D的模型。
在量子位MEET 2025智能未來大會上,VAST創始人兼CEO宋亞宸帶來了他所看到的3D生成的世界,以及3D生成賽道的新的機遇。
爲了完整體現宋亞宸的思考,在不改變原意的基礎上,量子位對演講內容進行了編輯整理,希望能給你帶來更多啓發。
MEET 2025智能未來大會是由量子位主辦的行業峰會,20餘位產業代表與會討論。線下參會觀衆1000+,線上直播觀衆320萬+,獲得了主流媒體的廣泛關注與報道。
(以下爲宋亞宸演講全文)
我們公司VAST是一家做3D大模型的公司,希望大家能夠在我的分享當中找到自己喜歡的一些有意思的點。
先給大家介紹一下什麼叫作3D大模型。
我們的3D大模型叫作Tripo,它的功能非常簡單,輸入一段文字,或者說一張圖片,當然也可以同時輸入圖片、視頻等不同模態,就能輸出一個完整的、有價值的、可用的3D的模型。
它的表達方式是mesh,帶貼圖材質PBR,並且可以在像遊戲、動畫、元宇宙、XR、MR,包括數字孿生、仿真模擬等等行業裡去用起來。
同時我們做了很多有意思的風格化,比如像素化、樂高化、網絡化等,可以讓大家端到端地在各個行業裡面使用,例如3D打印、鞋服傢俱等場景。
我們不只做了靜態的模型,還做了骨骼的自動綁定,動作的生成,也就是用戶可以在3D空間裡進行實時交互,和朋友社交,一起探索新的世界。
相較於語言大模型、圖片大模型、視頻大模型,3D生成模型(及背後技術)可能比較新。
2024年年初Tripo1.0剛剛發佈的時候,我們認爲它的水平類似於手機攝像頭360p分辨率的水平;現在Tripo2.0上線,成熟度已經達到了類似於720p分辨率的水平;明年,Tripo的成熟度會達到1080p、甚至4k的水平。
雖然3D生成技術現在還是半成熟的狀態,但是發展速度是非常快的。
來到量子位的MEET2025大會,我們想“炫耀”一下我們的論文。
2023年,VAST發了一系列論文,包括六投六中的CVPR,還有ECCV 、SIGGRAPH;今年又發了幾十篇新的論文。剛剛在東京結束的SIGGRAPH Aisa,我們拿了Best Paper Honorable Mention,技術團隊上週剛剛從東京領完獎回來。
VAST還做了很多開源的社區貢獻,這個也非常關鍵。
我們開源的項目包括世界最大的3D生成算法框架ThreeStudio、圖生3D的鼻祖Wonder3D,還和Stability AI一起開源了TripoSR。最近又開源了一些新的項目,也歡迎大家關注。
技術層面上,我們認爲主要分3步走——
第一步是靜態的內容生成。這個很好理解,就像生成一個個雕塑。
第二步是動態的內容生成。原本靜態的雕塑可以動起來,和用戶互動(甚至可以把雕塑的頭擰下來當頭踢)。
第三步,我們認爲明年年底之前,每個人都可以零門檻、零成本地進行實時的3D內容創作。
大家可能會問,除了愛玩遊戲,我本人還有什麼別的理由要要投身3D生成技術領域?
3D其實非常特殊。文字、圖片、視頻、3D包括音頻這些信息載體或內容媒介中,3D是一直缺乏屬於自己的UGC內容平臺的內容媒介的。
所以說我們認爲,3D版抖音是有機會誕生的。
可以看到,不管在移動互聯網時代還是互聯網時代,文字、圖片、視頻的UCG內容平臺,一直是巨頭之所以爲巨頭的關鍵路徑。那麼3D是不是也會有自己的類抖音平臺?
經過VAST自己和一些合作伙伴的大量嘗試,我們發現3D現在的創作門檻還是太高了,還是缺乏一個屬於自己的“攝像頭”——你很難想象沒有手機攝像頭,你怎麼玩小紅書、怎麼用抖音去分享你自己每天的生活。
3D是不是有機會先出現一個大衆級別的創作工具,降低用戶創作的門檻、降低用戶創作的成本,並且讓大家實時進行創作,纔有機會誕生一個所謂的3D版抖音。
那麼這個大衆級別的創作工具是什麼?就是剛剛提到的3D大模型。
我們認爲在第一階段,也就是截至快結束的今年,3D生成技術已經達到720p分辨率水平,並聚攏百萬級開發者;到了2025年,開發者數量會達到千萬級別。
這些AI 3D的原生創作者,不會再去做很重磅的遊戲。就像之前米哈遊創始人蔡浩宇講過的,未來0.0001%的頂尖人才還是會繼續做遊戲,但99.99%的人其實轉向根據自己的興趣隨意創造遊戲。
到2026年,這些原生的AI 3D創作者會探索出一些新的3D內容範式,這就需要有一個全新的UGC 3D內容平臺去承載和分發。
而且現在還處於第一階段時,3D生成已經在一些場景裡實際落地了,比如說傳統的CG、遊戲、動畫、影視、虛擬製作,還有傳統的TMT,涉及到直播、教育、電商等等;還包括傳統的工業、3D打印、工業設計、鞋服、家居、首飾、玩具、文具、燈具、香薰、蠟燭、文創、食品等行業;當然還包括所謂的新興行業,也就是空間智能(這個行業會得到長足的發展),比如說元宇宙、XR、MR、具身智能的仿真模擬、數字孿生、數字人等。
3D生成已經解決了一些核心的問題:
同時我們還可以實現規模化和個性化。
目前,全世界前十的3D打印公司裡,超過一半是我們的客戶,並且已經上線使用了。
原來的3D打印在全世界有幾百萬人羣,他們都不會建模。現在每個人都能用AI 3D的能力建自己的模型,生成一條賽博朋克的魚,或者皮卡丘和鋼鐵俠的結合體,生成後再打印出來,就擁有自己獨一無二的手辦了——這是完成定製化的需求。
於是,有很多首飾、手辦、積木玩具的廠商,可以利用AI 3D快速生成自己想要的款式,然後放到市面上看大家的反饋。尤其最近要過年了,還能快速做一些定製化的toB禮盒。
除了用於商業化場景,其實每一個人都可以做自己想要的3D的工業設計和產品需求,包括我自己。
所有的普通用戶都可以在Tripo3D.AI裡生成自己想要的工業設計,而且和想象中一模一樣,然後直接打印出來,比如做一套自己的國際象棋棋子。
今年年中,VAST在海外有上千個用戶上傳了自己用Tripo生成的一部部動畫。
這就是3D生成現在已經達到的成熟度。
我不會建模,沒有學過Blander、Maya、3D Max,也不會Unity或者UE,我也不是一個3D內容創作者。但我自己嘗試借用Tripo的能力,花了一個早上的時間,做了人生中第一部動畫。
所以我敢說,現在已經能夠讓每個人零門檻地去創作這麼有意思的3D內容。
我們的用戶裡有一個哥們特別有意思。
他用Tripo生成了幾百個3D模型,拼成了一個太空站,做了倆視頻,覺得自己很牛,發了一個推特,馬斯克覺得也很牛,就轉了,在全球範圍內有1億的播放量。
還有另一個創作者也非常有意思,他用我們的3D生成能力搭建了一個自己的XR空間。
他把每天遇到的開心、糟心的事情告訴AI,AI根據內容生成各種各樣有意思的手辦、城堡,像是一本3D日記。他既可以邀請別人來逛他的3D日記本,也可以邀請大家來這裡一起創作。
我想說的是,在XR的時代,當虛擬現實世界到來了以後,我們看到3D生成會帶來一種新的交互形式,就像一個成語形容的那樣,“言出法隨”。
在虛擬現實的世界裡,很重要的一個核心技術,就是成熟的3D生成技術。
最後介紹一下VAST的slogan:
感謝大家的時間!