阿里巴巴公佈圖生視頻專利,可實現智能化端到端圖生視頻
天眼查知識產權信息顯示,2月7日,阿里巴巴(中國)有限公司申請的“一種圖生視頻方法和裝置”專利公佈。
摘要顯示,本發明實施例將包含目標對象的源圖像輸入第一視頻生成模型得到素材視頻,根據素材視頻確定幀間變換矩陣序列,然後從源圖像中得到目標對象對應的對象掩碼圖像,將幀間變換矩陣序列應用於對象掩碼圖像可得到多張掩碼圖像從而組成掩碼圖像序列,將幀間變換矩陣序列應用於源圖像可得到多張目標對象圖像從而組成目標對象圖像序列,根據源圖像、掩碼圖像序列和目標對象圖像序列確定目標輸入數據,將目標輸入數據輸入支持局部重繪的第二視頻生成模型,得到對應的目標視頻。通過兩次模型生成視頻,實現了智能化端到端的圖生視頻,無需引入預設運動參數即可在保持目標對象不擴散的同時,實現運動軌跡多樣性。