NVIDIA 研究人員使 LATTE3D (一款最新文本轉 3D 生成式 AI 模型)實現雙倍加速。
LATTE3D 就像一臺虛擬 3D 打印機,能在 1 秒內將文字提示轉換成物體和動物的 3D 表征。
該模型生成的形狀采用標準渲染應用中常用的格式,可輕松地服務于虛擬環境中,應用在視頻游戲開發、營銷、設計項目或搭建機器人的虛擬訓練場地。
NVIDIA AI 研究副總裁 Sanja Fidler 帶領的 NVIDIA 多倫多 AI 實驗團隊開發了 LATTE3D。Sanja Fidler 表示:“一年前,AI 模型生成這種質感的 3D 視覺效果需要 1 個小時,當前的最新技術也需要 10 到 12 秒?,F在,我們將產出結果的速度又提高了一個數量級,使各行各業的創作者都能實現近乎實時的文本轉 3D 生成?!?/p>
這一進展意味著在單顆 GPU(例如 NVIDIA Research 的 demo 中使用的 NVIDIA RTX GPU)上運行推理時,LATTE3D 幾乎可以做到即時生成 3D 形狀。
縮短從構思、生成到迭代的周期
創作者不需要從零開始設計,也不需要翻閱 3D 素材庫,只需要在腦海中“靈感乍現”時使用 LATTE3D,就可快速生成具體的對象。
該模型可根據每個文本提示生成一些不同的 3D 形狀供創作者選擇。被選中的形狀將會在幾分鐘內進行優化,以提高質量。然后,用戶可以將形狀導出至圖形軟件應用或平臺,例如 NVIDIA Omniverse,該平臺能夠開發基于通用場景描述(OpenUSD)的 3D 工作流和應用程序。
研究人員在兩個特定數據集上訓練了 LATTE3D 模型,分別是動物和日常物品,開發人員可以使用相同的模型架構在其他類型數據上來訓練 AI。
如果在 3D 植物數據集上進行訓練,LATTE3D 則能夠幫助景觀設計師在與客戶進行討論時,使用樹木、花叢和多肉植物來快速填充花園效果圖。如果在家居物品數據集上進行訓練,該模型將會生成適用于 3D 家居模擬環境中的物品,開發人員還可以將這樣生成的物品來訓練個人助手機器人,有助于其后期在現實世界中的測試和部署。
LATTE3D 使用NVIDIA Tensor Core GPU進行訓練。除 3D 形狀外,該模型還使用 ChatGPT 生成的各種文本提示進行訓練,以更好地處理用戶為描述特定 3D 物體而可能想出的各種短語,例如讓該模型理解凡是以各種犬科動物為特征的提示,都應該生成類似狗的形狀。
NVIDIA Research由全球數百名科學家和工程師組成,專注于 AI、計算機圖形、計算機視覺、自動駕駛汽車和機器人等領域的研究。
研究人員在 NVIDIA GTC 2024 上介紹了他們的研究成果,這些成果推動了擴散模型訓練技術的前沿發展。
審核編輯:劉清
-
機器人
+關注
關注
206文章
27033瀏覽量
201389 -
NVIDIA
+關注
關注
14文章
4592瀏覽量
101706 -
3D打印機
+關注
關注
9文章
508瀏覽量
43591 -
GPU芯片
+關注
關注
1文章
289瀏覽量
5688 -
生成式AI
+關注
關注
0文章
349瀏覽量
212
原文標題:GTC24 | 即時生成模型:NVIDIA 生成式 AI 研究實現在 1 秒內生成 3D 形狀
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論