阿里開源通義萬相Wan2.2,大幅提升電影級畫面的製作效率
7月28日晚,阿里開源電影級視頻生成模型通義萬相Wan2.2。據介紹,Wan2.2直接將光影、色彩、鏡頭語言三大電影美學元素裝進模型,可以隨意組合60多個直觀可控的參數,大幅提升電影級畫面的製作效率。
通義萬相官方展示了《星際穿越》、《布達佩斯大飯店》、《海上鋼琴師》等電影的經典畫面,目前該模型單次可生成5s的高清視頻,用戶可通過多輪提示詞進一步完成短劇製作,未來通義萬相還將繼續提升單次視頻生成的時長,讓視頻創作更高效。
據介紹,Wan2.2此次共開源文生視頻(Wan2.2-T2V-A14B)、圖生視頻(Wan2.2-I2V-A14B)和統一視頻生成(Wan2.2-TI2V-5B)三款模型,其中文生視頻模型和圖生視頻模型均爲業界首個使用MoE架構的視頻生成模型,總參數量爲27B,激活參數14B,均由高噪聲專家模型和低噪專家模型組成,分別負責視頻的整體佈局和細節完善,在同參數規模下,可節省約50%的計算資源消耗,有效解決視頻生成處理Token過長導致的計算資源消耗大問題,同時在複雜運動生成、人物交互、美學表達、複雜運動等維度上也取得了顯著提升。
通義萬相還開源了一款5B小尺寸的統一視頻生成模型,單一模型同時支持文生視頻和圖生視頻,可在消費級顯卡部署。該模型採用了高壓縮率3D VAE架構,時間與空間壓縮比達到高達 4×16×16,信息壓縮率提升至 64,均實現了開源模型的最高水平,僅需22G顯存(單張消費級顯卡)即可在數分鐘內生成5秒高清視頻,是目前24幀每秒、720P像素級視頻生成速度最快的基礎模型之一。
即日起,開發者可在GitHub、HuggingFace、魔搭社區下載模型和代碼,企業可在阿里雲百鍊調用模型API,用戶還可在通義萬相官網和通義APP直接體驗。
自今年2月以來,通義萬相已連續開源文生視頻、圖生視頻、首尾幀生視頻和全能編輯等多款模型,在開源社區的下載量已超500萬,是開源社區最受歡迎的視頻生成模型之一。