基于文本驅動的三維模型風格化方法

來自華南理工大學、香港理工大學、跨維智能、鵬城實驗室等機構的研究團隊提出了一種基于文本驅動的三維模型風格化方法，該方法可對輸入的三維模型根據文本進行更具真實性和魯棒性的風格化。

根據給定輸入創建 3D 內容（例如，根據文本提示、圖像或 3D 形狀）在計算機視覺和圖形領域具有重要應用。然而這個問題是具有挑戰性的，現實中通常需要專業藝術家（Technical Artist）耗費大量的時間成本去創作 3D 內容。同時，許多網上的三維模型庫中的資源通常是沒有任何材質的裸露三維模型，要想將他們應用到現階段的渲染引擎中，需要 Technical Artist 為它們創作高質量的材質，燈光和法向貼圖。因此，如果有辦法可以實現自動化、多樣化和逼真的三維模型資產生成，將是很有前景的。

因此，華南理工大學、香港理工大學、跨維智能、鵬城實驗室等機構的研究團隊提出了一種基于文本驅動的三維模型風格化方法——TANGO，該方法對于給定的三維模型和文本，可以自動生成更具有真實性的 SVBRDF 材質，法向貼圖和燈光，并且對低質量三維模型有更好的魯棒性。該研究已被 NeurIPS 2022 接收。

模型效果

對于給定的文本輸入和三維模型，TANGO 可以產生精細程度較高的具有照片級真實感的細節，并且不會在三維模型表面產生自交問題。如下圖 1 所示， TANGO 不僅在光滑的材料（如金，銀等材質）上呈現出了逼真的反射效果，而且對于不平整的材質（例如磚塊等）也能通過逐點法線的估計渲染出凹凸不平的效果。

圖 1. TANGO 的風格化結果

TANGO 能夠生成真實渲染結果的關鍵在于能夠精準地把著色模型中的每一個部件（SVBRDF，法向貼圖，燈光）拆分開，并分別學習，最后這些拆分的部件再通過球高斯可微分渲染器輸出圖片，并送到 CLIP 中和輸入文本計算 loss。為了展現解耦部件的合理性，該研究對每個部件都進行了可視化。圖 2 （a）展示了 “一雙磚塊做成的鞋子” 的風格化結果，（b）展示了三維模型原本的法向，（c）是 TANGO 對三維模型上每個點預測的法向，（d）（e）（f）分別表示 SVBRDF 中的漫反射，粗糙度和鏡面反射參數，（g）是 TANGO預測的用球高斯函數表達的環境光。

圖 2 解耦的渲染部件可視化

同時，該研究也可以對 TANGO 輸出的結果進行編輯。例如在圖 3 中，該研究可以換用其他的光照貼圖對 TANGO 的結果進行重新打光；在圖 4 中，可以對粗糙度和鏡面反射度參數進行編輯，實現對物體表面反射程度的改變。

圖 3 對 TANGO 風格化結果進行重新打光

圖 4 對物體材質進行編輯

另外，由于 TANGO 采用預測法向貼圖的方式增添物體表面細節，因此對于頂點數較少的三維模型也有很好的魯棒性。如圖 5 所示，原始的 lamp 和 alien 模型分別有 41160 和 68430 個面，研究人員對原始模型進行了降采樣，得到了只有 5000 個面的模型?？梢钥吹?TANGO 在原始模型和降采樣模型上的表現基本相似，而 Text2Mesh 則在低質量的模型上出現了較為嚴重的自交現象。

圖 5 魯棒性測試

原理方法

TANGO 主要關注于由文本指導三維物體風格化的方法。這一領域目前最相關的工作是 Text2Mesh，它使用了預訓練模型 CLIP 作為指導，預測三維模型表面頂點的顏色和位置偏移，從而實現風格化。然而簡單地預測表面頂點顏色通常會產生不真實的渲染效果，且不規則的頂點偏移會造成很嚴重的自交。因此，該研究借鑒傳統的基于物理的渲染管線，將整個渲染過程解耦為 SVBRDF 材質，法向貼圖和燈光的預測過程，并分別用球高斯函數表達解耦的元素。這種基于物理的解耦方式使得 TANGO 可以正確產生具有真實感的渲染效果，并具有很好的魯棒性。

圖 6 TANGO 流程圖

圖 6 展示了 TANGO 的工作流程。給定一個三維模型和文本（例如圖中的“一個金子做成的鞋”），該研究先把這個三維模型縮放到一個單位球內，接著在三維模型的附近采樣相機位置，在這個相機位置發射射線找到與三維模型的交點xp和該交點的法線方向np。接下來，xp和np會被送入SVBRDF網絡和 Normal 網絡中，預測該點的材質參數和法線方向，同時，用多個球高斯函數來表達場景中的光照。對于每一次訓練迭代，該研究使用可微分的球高斯渲染器渲染圖像，然后使用 CLIP 模型的圖像編碼器對增強圖像進行編碼，最后 CLIP 模型反向傳播梯度更新所有可學習的參數。

總結

本文提出了 TANGO，一種根據輸入文本對三維模型生成逼真外觀風格，對低質量模型具有魯棒性的新方法。通過將外觀風格解耦 SVBRDF，局部幾何變化（逐點法向）和光照條件，并將這些用球高斯函數表示并渲染，能夠用 CLIP 作為 loss 監督并進行學習。 與現有方法相比，即使對于低質量的三維模型，TANGO 也可以具有很好的魯棒性。然而，逐點法向提供幾何細節的方式在避免產生自交的同時，也會使得能表達的材質表面凹凸程度略微降低，該研究認為 TANGO 和基于頂點偏移的 Text2Mesh 在各自的方向上都進行了很好的初步嘗試，會啟發更多的后續研究。