一年過去,AI在影視製作上的能力進步了多少?

繼去年7月發佈國內首部由大模型深度參與制作的微短劇《山海奇鏡之劈波斬浪》之後,快手近日再次發佈由大模型參與制作的AI單元故事集《新世界加載中》。

《新世界加載中》由異類Outliers團隊製作,共包含7部單元劇集,涵蓋科幻、奇幻、荒誕喜劇、歷史等多元題材,總時長達180分鐘,該劇也是目前業內敘事體量最大的AIGC劇集作品。

《新世界加載中》總導演、異類Outliers創始人陳翔宇向界面新聞透露,去年他第一次嘗試使用大模型的文生視頻功能之後,用一晚上時間生成了一輛小汽車飛向太空的短片。這次嘗試讓他意識到,商用標準影像多了一種來自AI大模型的、不依賴於實拍的傳統動畫流程的表達路徑。

陳翔宇因此有了使用大模型製作單元劇集的想法。在他看來,在製作過程中,《新世界加載中》實現了多項技術突破,包括美學表達、鏡頭結構、複雜動作場景與細節的全面呈現等。

在觀看《新世界加載中》之後,界面新聞記者也把它和快手去年發佈的《山海奇鏡之劈波斬浪》進行了對比,兩部短片在畫面上確實呈現出了較爲明顯的差異。

一方面是畫面風格更加自然多變。《山海奇鏡之劈波斬浪》部分妖怪形象符合中國古代設定,但也有一些看起來風格迥異,整體美術風格AI感明顯,給人一種違和的感覺。相比之下,《新世界加載中》在不同的單元劇集中嘗試了東方美學、速塗繪畫、黏土動畫等多種風格,畫面也更加自然。

另一方面,人物表情、場景、物體比例與透視等細節處理更加到位。《山海奇鏡之劈波斬浪》物面部特寫質感差,存在表情僵硬、口型對不上、微表情缺失等問題,關鍵道具存在透視角度不合理、大小比例失調等問題。在《新世界加載中》中,這些問題都得到了解決,一些鏡頭的細節處理達到了非常細膩的程度。

這些變化,主要是因爲視頻生成模型在技術能力上取得了諸多突破。

比如,隨着多模態融合發展迅速,新一代模型支持“文本+圖像+音頻”混合輸入,能分別解析各模態信息,並通過動態注意力機制實現跨模態信息對齊,確保生成視頻的視聽一致性誤差極小。

在物理規律與細節模擬上,模型藉助物理引擎整合,能夠準確模擬流體動力學、剛體運動等,咖啡傾倒、布料褶皺、爆炸特效等複雜動態和細節的還原度大幅提升,使生成內容更貼近真實世界。

據記者瞭解,《新世界加載中》製作過程中使用了多款大模型,其中超過50%的素材由快手旗下可靈AI生成。陳翔宇透露,劇集製作流程當中,不僅前期的文生圖、圖生視頻都可以使用可靈AI等大模型生成更多素材,製作中期的動畫也可以使用大模型製作。

在陳翔宇看來,AIGC相較於實拍和動畫,不僅是效率的提升,更是試錯空間的革命性釋放。“藉助AI大模型,我們很好地實現了人物與風格一致性的問題。同時,AI大模型也讓製作成本實現了大幅降低。”

對於大模型對整個製作成本和效率帶來的改變,陳翔宇並沒有給出準確的數字。他表示,製作過程中,一些原本需要實拍的物體以及主創人員都可以用AIGC替代,都是降本增效。

可靈AI產品及運營負責人李楊對界面新聞表示,這一年時間AI生成視頻的能力有很大提升,比如可靈AI在語義跟從、運動表現等方面都有了明顯的進步,創作者也能夠用大模型做出效果更加出色的片子。

但李楊也強調,當下的AI創作還遠遠沒有達到一鍵生成的程度。“從拿到工具開始,如何寫Prompt、如何調和生成自己腦海中的效果,這個非常專業和考驗人的韌性,現在仍以相對偏專業創作者爲主。”