關于AI文本生成動畫模型的論文

近日，迪士尼研究所和羅格斯大學的科學家共同發表了關于AI文本生成動畫模型的論文。

研究人員表示，這種算法只要在輸入的文本中描述某些活動即可，不需要注釋數據和進行大量訓練就能產生動畫。

這篇論文中，研究人員進一步提出了端到端模型，這種模型可以創建一個粗略的故事版和電影劇本的視頻，用來描繪電影劇本中的文字。此外，這個系統還可用于生成訓練端到端神經系統的訓練數據。

迪士尼羅格斯大學關于AI文本生成動畫模型的論文

迪士尼一直十分關注AI領域的進展，多年來一直嘗試將AI技術融入自己的各項產業當中，也曾多次與大學或其他研究機構合作，開發了一系列訓練模型。這次，迪士尼又將文本轉換視頻的技術進一步加強，使模型自動生成動畫。

一、更復雜的文本如何轉換成動畫？

迪士尼的文字轉換為動畫AI系統圖解

將文本轉換為動畫并不是一項簡單的任務，大多數將文本轉換為視頻的工具不能處理復雜句子，因為輸入的句子和輸出的動畫都沒有固定的結構。為了克服這種問題，兩位論文作者共同構建了一個包含多個組件模塊的神經網絡。

這個網絡由幾個部分組成: 一個可以自動將文本與劇本場景描述隔離開的腳本解析模塊、一個自然語言處理模塊（使用一套語言規則簡化復雜句子，并從簡化句子中提取信息，轉化為預定義的動作表示），以及一個將所述表示轉換為動畫序列的生成模型。

迪士尼AI系統的文本簡化階段

簡化后的方法能更容易的提取腳本中的關鍵信息，新研發的系統能夠自主地將復雜句子拆分，并組裝成更簡單的句子，對其進行遞歸處理，直到不可能進一步簡化。

接下來，系統將“協調”句法關系相同、功能相同的句子。最后，詞匯簡化器將簡化后句子中的動作，與預定義庫中的52個動畫匹配（通過同義詞詞典擴展到92個）。

然后，在一個名為Cardinal的管道中將動作輸入，并在一個流行的視頻游戲引擎Unreal中創建預可視化。利用預定義的動畫庫、預加載的對象以及可用于創建角色的模型，最終，這個系統可以生成一個3D動畫視頻。

為了訓練這個系統，研究人員從IMSDb、SimplyScripts和ScriptORama5等可自由獲取資源的電影劇本數據庫中，搜集了超過1000個劇本，從中選取了996個，編寫了場景描述語料庫。這個語料庫由525,708個描述組成，包含1,402,864個句子，其中920,817個（超過40%）至少有一個動作動詞。

二、動畫合理性達68%，研究人員將進一步優化系統

在一項定性測試中，22名參與者以5分制標準，來評估系統生成的20個動畫（例如，如果所顯示的視頻對文本來說是合理的動畫，則視頻中描繪了多少文本信息，以及視頻中有多少信息存在于文本中），68%的參與者認為系統通過輸入劇本生成了“合理”的動畫。

研究人員認為，除了系統本身的局限性之外，生成動畫的“不合理”成分也與文本中關于行動的模糊性有關。他們承認這個系統并不完美，它的動作和對象列表并不是詳盡無遺的。有時候，詞匯簡化不能將動詞（如“watch”）映射到相似的動畫（“look”）中，或者只能為原句中有很多主語的動詞創建幾個簡化的句子。

內部評價和外部評價顯示了該系統性能的合理性。研究人員計劃在今后的工作中，重點關注如何能使系統更充分的利用文本中描述的話語信息，來解決文本中關于行動模糊性的問題。

三、迪士尼的AI研究歷程

從技術的角度來看，迪士尼似乎很重視在AI方面的研究，也有過諸多嘗試。

2017年8月，迪士尼與蘇黎世聯邦理工學院合作，開發了將畫面與聲音連接起來的機器學習系統，這種系統可以將語音與畫面結合起來，使視頻內容看起來更加連貫。

研究人員將一系列含有雜音和背景音不純的視頻輸入系統，用來訓練模型。訓練后的系統能夠把畫面信息和聲音信息做出關聯。比如，隨著關門的動作進行，人們會“想象”特定的關門聲音。本質上，其實是人們把關門相關的視覺信息跟聲音信息做了連接。

這項研究想要做的，就是培養AI系統的這種關聯性，他們訓練的AI系統成功的將關門、杯子碰撞和汽車在馬路上行駛畫面于聲音進行了配對。這也將幫助視頻剪輯師更好地工作。

迪士尼發布AR形象與實際物體互動圖片

2018年1月，迪士尼的研究人員發布了一項可以使動畫AR角色與實際的物體互動的黑科技。

比如，當一個3D卡通角色映射在家里的客廳地板上時，這個虛擬的形象會跳過臺階或繞開障礙物行走，甚至當寵物狗沖過來的時候還可能一下把它撞到。

這項研究做到了AR體驗與現實的互動，給動畫帶來了更多樂趣。說不定以后我們自己也可以和動畫里的人物進行互動了。

2018年9月，迪士尼AI研究中心還嘗試了讓機器人完成像超級英雄一樣的特技動作。迪士尼的特技實驗包括訓練機器人的神經網絡來控制機器人，以此完成上天入地、爬行、劃船等動作，人類能做的它可以，人類不能做的，它也可以。

四、文本轉換視頻技術早已應用

其實，從文本片段創建原始剪輯的AI并不是最新的研究發現。

2016年4月，***創企GliaCloud就利用AI技術，將文本信息的主要內容以視頻的形式展示了出來。這家AI視頻制作公司在2015年，由全球48位Google云技術專家之一David Chen和在廣告領域有著20年業務拓展經歷的Dominique Tu在***共同創建。GliaStudio對指定文本的內容進行分析和總結之后，根據所提取的內容從自有資料庫或是公共資源中尋找相關的照片、視頻片段甚至畫外音來生成影片。

去年，也有研究人員詳細介紹了一個利用神經網絡模仿生物神經元的系統，這種系統能夠生成32幀長、6464像素的視頻。研究人員表示，這種系統生成視頻分兩個階段進行，第一階段使用文本創建視頻的要點，一般是背景顏色和對象布局的模糊圖像。第二階段同時考慮到要點和文本的其他內容，然后要點與文本內容結合，生成一段視頻。

比如，將“在草地上打高爾夫球”這句話，生成一個人們在草地上打高爾夫球的視頻。

從自然語言文本自動生成動畫在很多領域都有應用，比如電影腳本編寫、教學視頻和公共安全等內容。

這些AI算法系統，可以為內容創作者提供更快的迭代、原型設計和概念驗證，有助于提高劇本編寫效率。

結語：AI生成動畫或有更廣闊的市場

研究人員表示，迪士尼進行AI自動生成動畫的研究不是為了取代編劇和藝術家的工作，而是為了提高繁瑣工作程序的效率。

雖然目前研究結果還不完善，生成動畫的系統還不能百分之百將文本內容轉換成動畫，但是這項研究對于文本轉換視頻技術也是一次有意義的嘗試。

迪士尼動畫在全世界都有十分廣泛的影響，塑造了一個又一個經典的動畫形象。如今，他們在AI自動生成動畫方面的研究也很可能影響整個動畫電影制作市場，AI生成的方式也許將成為未來動畫電影制作的新方向。