WACV 2023 I從ScanNeRF到元宇宙：神經輻射場的未來

本文提出了一個用于評估神經輻射場和神經渲染框架的真實基準思想，并設計了一個有效的流程用于快速掃描真實物體。通過不到500美元的硬件預算，在5分鐘內能夠收集到大約4000張被掃描物體的圖像。構建了ScanNeRF數據集，其中包含多個訓練、驗證和測試集，用于評估不同條件下現代NeRF方法的性能。通過評估三個先進的NeRF變種，突出了它們的優點和缺點。該數據集可以在項目頁面上獲取，并提供在線基準測試，以促進更好的NeRF的發展。

1 前言

本文提出了元宇宙的概念以及使用神經渲染技術將真實物體轉移到虛擬世界中的方法。為了實現這一目標，作者構建了一個簡單而有效的物體掃描站-ScanNeRF，并生成了一種高質量的真實數據集，其中包含適用于訓練和評估最先進的神經輻射場方法的圖像。這個數據集為神經渲染領域的研究提供了一個基準，并探討了如何在從單個側面采集的圖像中完全渲染一個物體的挑戰。此外，作者的工作展示了使用僅500美元的簡單硬件就可以構建來自真實物體的數字孿生。

作者的貢獻有三個方面:

提出了一個用于收集圖像的簡單而有效的平臺，用于訓練神經渲染方法。

發布了一個包含真實物體圖像的新型基準測試數據集。

評估了現代神經輻射場的性能，并突出了它們在不同情況下的優缺點。

2 相關工作

本文回顧了神經輻射場（NeRF）的文獻，并介紹了NeRF在新視點合成領域的最新進展。NeRF使用多層感知器（MLP）對隱式連續的體素表示進行編碼，與離散表示相比具有較好的性能。然而，傳統的NeRF存在訓練時間長、需要為每個新場景進行獨立訓練以及渲染速度慢等限制。為了解決這些問題，文獻中提出了一些加速NeRF訓練和渲染的方法，包括預訓練階段、使用額外的深度信息、利用顯式表示以及結合隱式表示等。最近的研究工作已經實現了更快速訓練和渲染的NeRF變體，使得實時渲染成為可能。在此基礎上，本文選擇了DirectVoxGo、Plenoxels和Instant-NGP作為基準模型，建立了ScanNeRF基準測試，旨在推動神經輻射場和相關技術領域的進一步研究。與現有的基準測試相比，ScanNeRF提供了更可擴展的數據收集框架，并明確定義了測試集，避免了潛在的偏見結果。

3 關于神經輻射場的背景

神經輻射場（NeRF）通過將三維場景編碼成隱式表示，在視覺領域中廣泛應用。通過學習多層感知機（MLP）來建立隱式映射，其中包括中間的MLP（pos）用于推斷密度和嵌入，淺層的MLP（rgb）用于預測顏色。為了更準確地表示底層函數的高頻部分，使用基于傅里葉特征的位置編碼。渲染圖像時，根據光學模型和體繪制渲染，通過累計透射量和數值積分來計算像素顏色。訓練NeRF模型時，通過最小化光度誤差平方來優化模型參數。

4 ScanNeRF基準測試

在本節中，作者描述了ScanNeRF框架的硬件和軟件組成部分。作者首先介紹我們的采集平臺，然后描述了用于選擇最終圖像的后處理步驟，以及用于提取物體的掩膜策略。最后，作者強調了生成數據集的整體組織方式。

4.1 掃描站設置

掃描站使用Lego Mindstorm套件構建，配備了OpenCV Oak-D Lite相機。通過旋轉底座和機械臂的兩個自由度，可以輕松地收集掃描物體周圍的圖像。相機姿態計算基于ChArUco標記和OpenCV庫的功能實現。掃描過程中，相機以30fps的頻率錄制1440×1080分辨率的圖像。整個掃描站通過Lego Mindstorms桌面應用程序的API進行Python編程，并通過藍牙連接進行控制。掃描站的硬件預算低于500美元。

4.2 數據集過濾

數據集過濾的過程通過計算相機姿態的方位角來檢測基座的旋轉，并丟棄方位角與前一個角度之差小于1.15°的圖像。這樣可以有效地去除在臂下降期間收集的圖像，從而保留只在臂不移動且基座旋轉時獲取的圖像。

4.3 背景遮罩

為了剔除不一致的背景并獲得只包含掃描物體的圖像，作者采用背景遮罩的方法。通過使用Instant-NGP神經渲染框架，作者訓練并渲染了與原始圖像相同姿態的新圖像。在渲染過程中，作者使用渲染體積來裁剪不一致的背景，并根據像素的alpha值生成遮罩。這些遮罩被應用于原始圖像，移除了背景和掃描站基座，使最終的圖像中只保留了物體。

4.4 數據集的組織和劃分

在數據集組織和劃分階段，作者將獲取的圖像序列劃分為Train、Val和Test三個宏劃分，分別包含不同數量的圖像。作者通過Farthest Point Sampling算法在物體上方半球均勻采樣圖像，并將Train宏劃分的圖像進一步細分為三個訓練子劃分，以探究不同圖像數量對NeRF算法性能的影響。同時，作者還構建了八個附加的子劃分，每個子劃分包含在特定區域更密集采集的圖像，并從整個半球分布的位置上隨機采樣一小部分圖像。這些子劃分的設計旨在研究在訓練集具有不均勻視角空間分布時不同NeRF算法的表現，并以此促進未來的研究。

4.5 掃描時間和物體數量

所述流程允許快速掃描大量物體。一個完整的獲取周期包括收集約9000張圖像，并經過過濾步驟后減少至約4000張。當前的ScanNeRF數據集包括35個真實物體，用于評估現代NeRF框架的性能。未來計劃擴大數據集以包含數百個甚至數千個物體，并通過基準網站共享Train/Val拆分。

5 實驗

在本節中，作者對作者的創新ScanNeRF數據集進行了實驗。具體而言，作者在作者設計的拆分數據上運行了三種現代高效的NeRF框架，以研究它們在不同密度和訓練圖像數量的情況下的性能表現，以及它們在僅從掃描對象周圍的特定區域密集獲取圖像時的行為。

5.1 評估的框架和設置

在本節中，我們對我們的創新ScanNeRF數據集進行了實驗。我們評估了三種現代高效的NeRF框架：DVGO、Plenoxels和Instant-NGP。每種方法都具有不同的訓練和渲染速度。我們使用每個框架的官方代碼進行實驗，并保持默認的超參數設置。在評估中，我們訓練了420個實例，并使用峰值信噪比（PSNR）作為評估指標來衡量渲染圖像的質量。

5.2 均勻分布采集的實驗

在均勻分布采集的實驗中，作者訓練和評估了三種方法：DVGO、Plenoxels和Instant-NGP。當使用1000張圖像進行訓練時，所有三種NeRF變體的性能都相當出色，達到了超過30的PSNR。隨著訓練圖像密度逐漸減少到500、250和100，三個框架的性能出現了不同的變化。Instant-NGP幾乎不受訓練圖像減少的影響，DVGO的PSNR有輕微下降，而Plenoxels在僅用100張圖像進行訓練時出現了最大的渲染質量下降。根據實驗結果，Instant-NGP在訓練和渲染速度、渲染質量以及對訓練圖像數量減少的魯棒性方面表現最佳。這里也推薦「3D視覺工坊」新課程《深度剖析面向機器人領域的3D激光SLAM技術原理、代碼與實戰》。

5.3 對密集局部采集的實驗

本實驗主要針對密集局部采集進行了實驗。實驗結果顯示，三種NeRF算法在訓練和測試相同分布位置的子集時表現良好，但在來自不同密集采集子集的測試中，它們的表現有所不同。其中，Plenoxels在這種設置下表現不穩定，而DVGO和Instant-NGP相對更具魯棒性。作者推測，這一差異可能是因為前兩種方法中的MLP組件能夠從均勻分布的樣本中學到強烈的偏差，從而幫助它們推廣到幾乎未見過的半球區域。

6 結論

本文介紹了ScanNeRF作為一個可伸縮的神經輻射場基準和神經渲染框架的評估平臺。通過ScanNeRF的特殊劃分，作者在不同設置下研究了現代NeRF框架的潛力，并給研究社區提出了一些新的挑戰。我們相信ScanNeRF將促進神經輻射場框架的研究。