基于NeRF/Gaussian的全新SLAM算法

什么是SLAM？

SLAM，即同時定位與地圖構建技術，SLAM可以讓機器人、無人機和其他自動化系統能夠在未知環境中同時進行自我定位和環境映射。

為什么是NeRF-Based SLAM？

傳統CG將輸入圖像重新投影再融合到新的視圖攝像機中，利用幾何結構來進行重投影。在很多情況下，傳統CG方法重建地圖都能有相當好的效果，但是對于地圖上的未知區域，進行三維重建恢復就有些困難了。

深度學習很早就在應用在重建方面。Volumetric 表達由Soft3D提出，隨后與Volumetric ray-marching 相結合的深度學習技術出現，這是一種基于連續可微密度場的Geometry（幾何）表示方法。

神經輻射場引入了Importance Sampling（重要性采樣）和Positional Encoding（位置編碼），使得三維重建的質量得到顯著提升；同時NeRF神經渲染算法大大減少了傳統三維重建中生成的偽影，在大多數情況下效果都比傳統算法好。目前重建圖像質量最好的是Mip-NeRF360。

此外，將SLAM技術融入到深度學習中，更容易使得所有算法能夠統一到一個框架中，方便不同算法之間的數據傳輸和通信，方便了上下游兄弟部門的協同合作。比如建好的地圖可以用于語義標注，從而接到BEV感知中訓練，又或者可以生成 Occupancy 網格，交給規控部門去做路徑的規劃和智能體的控制。

為什么是Gaussian-Based SLAM？

基于NeRF的SLAM算法采用全局地圖和圖像重建損失函數，通過可微分渲染捕獲稠密的光度信息，具有高保真度。但是用Implicit Neural Representation（隱式神經表達）對場景建模導致了許多問題：

query過程（可以理解為射線渲染）需要大量的采樣，渲染方法成本很高

用了大型多層MLP，運算量大，占用內存高

不容易編輯

不能顯式地對空間幾何建模

導致“遺忘”問題

SLAM技術通常部署在機器人身上，性能尤為關鍵。后續出現了一系列解決NeRF重建效果和性能的論文，基于3D高斯輻射場的SLAM有以下好處:

快速渲染和豐富的優化：Gaussian Splatting可以以高達400 FPS的速度渲染，使其比隱式表達更快地可視化和優化。

有明確空間范圍的建圖：現有地圖的空間邊界可以通過在之前觀察到的部分場景中添加高斯函數來控制。給定一個新的圖像幀，我們可以通過渲染剪影識別場景的哪些部分是新內容（在地圖的空間邊界之外）。這對于Tracking任務很重要，因為我們只想將已經建好圖的部分與新圖像幀進行比較。隱式表達就不行了，因為在對未知區域建圖優化的時候，全局的優化會影響到神經網絡。

顯式地圖:我們可以通過添加更多的Gaussian函數來任意地增加地圖容量。而且這種顯式的表達讓我們可以編輯場景中的某些部分，同時仍然允許真實的渲染。

審核編輯：黃飛