將門投資企業 | 阿里雲「開學季 Ai 第一課」採用「MyTwins.ai」數字分身，爲直播行業帶來新場景
9月1日，「阿里雲-雲工開物」邀請了4位院士/教授，用“自己的數字分身”給大家講授AI相關的知識。此次「開學季 Ai 第一課」採用的技術由「數字生命技術領域創新企業將門投資企業——「MyTwins.ai」提供。
張亞勤院士的數字人（採用MyTwins.ai數字分身技術生成） 圖片來源：MyTwins.ai
本次公開課導師包括圖靈獎得主John E. Hopcroft，中國工程院院士、清華大學智能產業研究院（AIR）院長張亞勤，浙江大學人工智能研究所所長吳飛，復旦大學計算機學院教授黃萱菁，阿里雲高校合作部負責人李貝，向觀衆展示了教育領域可以用老師的數字分身來給學生講課。
作爲數字分身直播產品的提供方，MyTwins.ai在年初與淘寶知名頭部主播陳潔Kiki合作後，持續進行了一系列技術迭代，現階段已經能夠讓數字分身以不同的體態、表情、拍攝角度“出鏡”，適應更多視頻及直播環境。
數字人直播帶貨的概念在近年來逐漸火爆，成爲電商競爭新賽道的同時，也掀起了數字人技術新一輪的發展浪潮。而在AI技術的支持下，數字人主播以其低成本的優勢，吸引了大量的關注。
圖片來源：MyTwins.ai
早期很多數字人產品，只能讓數字人保持單一體態，根據口播內容做一些簡單的口型變化和上肢動作。MyTwins.ai相關負責人表示，早期數字人受限技術而無法做到聲音與口型同步，比如發“阿”的聲音，嘴巴應該是張大的，數字人的嘴巴卻是閉着的。
“後來我們採用3D Flame技術對人臉建模，通過聲音驅動3D幾何表徵形變，再使用3D Gaussian進行渲染。在口型、表情、姿態的精準度上，遠遠高於傳統的純2D技術路線所展現的效果。”
此外，爲了讓用戶快速拿到生成好的數字分身，降低產品的使用門檻，MyTwins.ai研發了一套通用模型。
該通用模型由兩個模塊構成：基於VAE的Audio2Motion（聲音到3D幾何驅動）算法，在3D幾何空間上實現對口型、表情的驅動；3D->2D的人臉生成算法，渲染出高清晰度、口型貼合的數字人。
以前需要2-3分鐘的視頻素材，花費數小時的時間訓練數字人；在技術組合迭代後，MyTwins.ai已實現用30秒的視頻素材進行小樣本微調，訓練時間縮短到5分鐘，有效提升了效率。
舉例而言，在此次的「AI第一課」中，John E. Hopcroft數字分身建模的原視頻便只有30秒，且在原視頻清晰度較低的情況下，數字人精準還原了“表情、口型”等面部微變化。
當然，數字分身若想適應更多場景，還有很長的路要走。對於MyTwins.ai而言，現階段直播帶貨依然是團隊主攻的研發方向之一。
爲了能夠幫商家直播賣貨做成交，MyTwins.ai自研了一整套直播行業AI解決方案，特別是針對直播行業的主播大語言模型。
對於很多商家——尤其是沒做過直播電商的商家來說，從零搭建直播團隊的成本和風險都不小。如果初期效果差，人員工資便是一筆不小的固定支出；效果好了，如果主播團隊選擇跳槽，那商家便又要從頭開始。
MyTwins.ai基於多年在直播領域的數據積累，研發了直播行業主播大語言模型。商家只要輸入“商品名稱、賣點”即可用頭部主播的講品方法論，由AI自動撰寫頭部主播風格的商品賣貨講稿，還能在直播間實時回覆用戶的問題，促進成交轉化。
“從海量的直播數據中，我們構建了優質的直播行業數據集，微調開源LLM，並從講品風格、場景營造、深挖賣點、誘導消費等維度，讓模型學習到頭部主播帶貨的講品精髓。”MyTwins.ai相關負責人表示。
艾媒諮詢數據顯示，2023年中國數字人帶動的產業市場規模和核心市場規模分別爲3334.7億元和205.2億元，預計2025年將分別達到6402.7億元和480.6億元。隨着數字人產業的不斷成熟，對於商家來說，數字人直播將有機會成爲賣貨的核心渠道。
第一講：圖靈獎得主John E. Hopcroft
第二講：中國工程院院士、清華大學智能產業研究院（AIR）院長張亞勤
第三講：浙江大學人工智能研究所所長吳飛
第四講：復旦大學計算機學院教授黃萱菁
第五講：阿里雲高校合作部負責人李貝
文章轉載自36kr
-The End-
關於我“門”
將門是一家以專注於數智核心科技領域的新型創投機構，也是北京市標杆型孵化器。 公司致力於通過連接技術與商業，發掘和培育具有全球影響力的科技創新企業，推動企業創新發展與產業升級。
將門成立於2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾爲微軟優選和深度孵化了126家創新的技術型創業公司。
如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投後服務，歡迎發送或者推薦項目給我“門”:
bp@thejiangmen.com
點擊右上角，把文章分享到朋友圈