Omniverse Audio2Face加速AI虛擬數字人的語音與表情訓練

元宇宙熱潮迭起，推動了虛擬數字人產業發展。當前，隨著虛擬人技術日益成熟，相關產業鏈逐漸成型，以及虛擬人的智能化、多元化應用不斷完善，數智人發展逐漸成為行業趨勢。

深圳幻影未來信息科技有限公司（以下簡稱“幻影未來”）專注于虛擬人互動的內容研發，是領先的虛擬人及互動方案、AI 數智人創新提供商。借助NVIDIA Omniverse Audio2Face和NVIDIA RTX GPU，幻影未來加速虛擬人 Kiko 的語音及表情訓練，助力打造高品質 AI 數智人。

虛擬人語音互動與表情變化仍需優化

虛擬現實技術的演進和虛擬人行業的逐步發展，帶動直播、電商、娛樂行業等逐漸開展虛擬人產業布局?；糜拔磥韽奶摂M人直播入手，蓄力將虛擬人 Kiko 打造成虛擬人 IP。由于目前虛擬人主播與觀眾之間的溝通場景仍需豐富，幻影未來立足技術背景，著力開展虛擬人的技術升級。

利用現有技術，虛擬人主播可實現語音輸入輸出及相應動畫展示，但仍缺乏相應的互動力和表現力，因此，在語音互動和表達的基礎上，驅動虛擬人產生豐富而逼真的表情以提升與用戶之間的溝通水平、加強虛擬人與用戶間的情感交流仍是行業發展的痛點。

Omniverse Audio2Face + RTX GPU

加速虛擬人訓練與升級

幻影未來通過 NVIDIA 初創加速計劃了解到，借助 NVIDIA Omniverse Audio2Face 可以直接將虛擬人語音轉換為嘴型和表情動畫，其在使用和測試后，對輸出的表情 BS 進行改造并訓練自定義模型，同時借助 NVIDIA RTX GPU，加速對虛擬人訓練大量數據的交換與處理。

Omniverse Audio2Face 是一款由 AI 提供技術支持的應用，僅憑借一個音頻來源便能生成面部表情動畫。Audio2Face 可簡化 3D 角色的動畫制作，與任何配音音軌匹配，在交互式應用場景中可以使用該應用，也可將其用作傳統的面部動畫創作工具，實時運行結果或烘焙結果都可輕松獲得。借助 Omniverse Audio2Face，幻影未來只需錄制語音音軌，輸入到該應用中，即可生成生動的虛擬人面部表情。

虛擬人模型訓練包括數據采集和清洗、數據處理和數據訓練，訓練過程中數據量龐大，對數據處理能力要求較高，幻影未來借助 RTX GPU，相較于常規硬件訓練方法而言，訓練時間可縮短至 10 分鐘左右，訓練速度提高了 99% 以上。

數智人服務場景拓寬

元宇宙基礎服務潛力無限

NVIDIA Omniverse Audio2Face 與 NVIDIA GPU 加速平臺賦能幻影未來實現虛擬人語音和表情動畫升級，使傳統虛擬人向數智人的升級成為了可能?；糜拔磥淼奶摂M人表現力解決方案助力豐富數智人服務場景，推動了元宇宙基礎服務的豐富和發展。

幻影未來創始人兼 CTO 姜龍表示，“未來元宇宙中的應用軟件一定不是以 APP 形式展現，也一定不會是需要通過點擊操控 UI 的形式出現，我相信未來元宇宙中的所有服務是以數智虛擬人形式出現，通過自然交互的方式來進行，這一天不會太遠?！?

審核編輯 ：李倩