NVIDIA將深度學習引入計算機圖形領域以推動行業發展

如果您看過NVIDIA創始人兼首席執行官黃仁勛在GPU技術大會的主題演講，一定會被其中提到的成果震撼，這背后離不開NVIDIA研究人員的努力。

黃仁勛在GTC 2018上披露了兩項深度學習發現，有可能顛覆傳統計算機圖形技術。兩者都可以幫助游戲開發商以更少的時間和更低的成本創造更豐富的游戲體驗。其中一項可以通過輕松創建數據，訓練車輛適應更廣泛的道路狀況、環境和地點，加速自動駕駛車輛的開發。

一直以來，NVIDIA致力于將深度學習引入計算機圖形領域以推動行業發展。這兩個研究項目正是我們的最新成果。NVIDIA的研究團隊有200多人，分布在全球11個地點，致力于推動機器學習、計算機視覺、自動駕駛汽車、機器人、圖形處理、計算機架構以及編程系統等領域的前沿技術發展。

黃仁勛表示：“這個團隊的生產力簡直不可思議。他們橫跨整個計算領域進行基礎研究?！?/p>

這兩幅圖是同一噪聲圖像的清晰版本。左邊的去噪圖像由神經網絡經過訓練從對應的清晰圖像和噪聲圖像生成。右邊的去噪圖像由研究人員使用單純噪聲圖像訓練模型生成。

噪聲圖像清晰化

你可能不知道噪聲圖像是什么，但你可能已經見過它了。當用攝像頭對焦光線昏暗的場景時，圖像會呈現顆粒、異常的彩色斑點、或像螢火蟲一樣的白色斑點。

去除圖像噪聲是很困難的，因為這個過程本身可能會受人為因素影響或使圖像更模糊。深度學習實驗可以提供解決方案，但也存在一個重要缺點：實驗需要配對的清晰圖像和噪聲圖像來訓練神經網絡。

普通的AI去噪需要配對的清晰圖像和噪聲圖像。但是，對于MRI和其他醫學圖像，通常無法獲得清晰圖像。有了“噪聲到噪聲”技術，將不再需要清晰圖像。

只要有好的照片就可以去噪，但要達到理想效果也可能很難，甚至不可能達到。NVIDIA在芬蘭和瑞典的研究人員開發了一種稱為“噪聲到噪聲”(Noise2Noise) 的解決方案，解決了這個問題。

基于噪聲圖像生成清晰圖像成為可能

如何生成清晰的圖像是醫學成像檢測（如MRI）和遠程恒星或行星天文圖像中的共同問題，因為這些場景根本沒有足夠的時間和光線來拍攝清晰圖像。

時間在計算機圖形技術中也是一個問題。生成清晰的圖像數據來訓練降噪器的任務可能需要幾天或幾周的時間。

“噪聲到噪聲”看起來似乎不太可能。因為它不是基于配對的清晰圖像和噪聲圖像來訓練網絡，而是基于配對的噪聲圖像來訓練網絡，并且只需要噪聲圖像。然而，“噪聲到噪聲”產生的結果卻等同于或幾乎等同于老方法可實現的網絡訓練結果。

NVIDIA研究部門副總裁David Luebke表示：“我們發現，通過正確建立網絡，可以做到一些看似不可能的事情。搞清楚整個過程后，會發現這是一個非常令人驚喜的事情?！?/p>

通過語義操作輕松改變圖像

黃仁勛演示的第二個項目代表了構建虛擬世界的全新方法。它利用深度學習，從繁重且高代價的游戲3D建模任務中抽離出來，并為自動駕駛汽車捕獲訓練數據。

這種被稱為“語義操作”的技術就好像樂高積木，孩子們可以搭建出任何想要的東西。

在語義操作中，用戶可以從一張帶標簽的地圖開始操作。每一個場景中的像素都相當于一張帶有標簽的藍圖，切換圖上的某些標簽就能改變圖像。還可以編輯對象的樣式，例如選擇不同類型的汽車、樹木或道路。

NVIDIA研究人員的深度學習圖像合成技術可以通過改變語義標簽輕松改變道路的外觀。

加速游戲開發

研究團隊所采用的方法依靠生成式對抗網絡(GAN)技術。這是一種深度學習技術，通常用于在數據匱乏時創建訓練數據。

雖然GAN通常難以生成逼真的高分辨率圖像，但NVIDIA研究員能夠通過改變GAN架構使之成為可能。

目前，為了創建計算機游戲的虛擬環境，美術師需要數千小時的時間來創建和更改模型，每個游戲的花費可能高達上億美元。這些模型經過渲染，轉換為我們在屏幕上所看到的游戲。

如果能減少所需要的工作量，游戲美術師和工作室就可以創建更多角色、更多故事情節和更復雜的游戲。

優化自動駕駛汽車訓練

獲取數據訓練自動駕駛汽車同樣很麻煩。通常需要在道路上投放配備傳感器和攝像頭的車隊。汽車采集的數據必須手動標注，用于訓練自動駕駛汽車。

采用NVIDIA的方法，可以在舊金山收集數據，然后應用于另一個山地城市，例如巴塞羅那。甚至可以把一條鵝卵石街道變成一條石砌路，或者把一條林蔭大道變成停滿汽車的道路。

這樣可以更有效地訓練汽車處理不同情況。還可以開發圖形渲染引擎，用現實世界的數據進行訓練，并用生成模型渲染。

黃仁勛表示：“我為NVIDIA研究團隊感到驕傲。歡迎與我們一起探討，共同取得更大進步?！?/p>