PanopticNeRF-360：快速生成大量新視點全景分割圖像！

作者：泡椒味的口香糖 |

0. 筆者個人體會

全景分割和實例分割任務的標注是非常龐大的工作量，很多生成模型和NeRF都在嘗試直接合成全景分割訓練集，但是都存在目標交叉區域的類別模糊問題。

今天筆者將為大家分享PanopticNeRF-360這項工作，是PanopticNeRF的擴展，可以使用3D粗標注快速生成新視點的大量高質量RGB和全景分割。號稱將標注時間從1.5h降低到了0.75min（120倍）。

當然筆者水平有限，如果有理解不當的地方歡迎大家一起討論~

1. 效果展示

PanopticNeRF-360用于生成全景分割，因此輸入圖像也需要魚眼相機。整個框架的是輸入是前視雙目相機和側視的兩個魚眼相機，還有3D粗標注（3D空間的立方體、橢球、多面體都可以），來生成連續的RGB、全景分割、實例分割。

代碼已經開源了，感興趣的讀者可以關注一下，下面來看具體的論文信息。

2. 摘要

訓練自動駕駛汽車的感知系統需要大量的注釋。然而，在2D圖像中手工標記是高度勞動密集型的。雖然現有數據集為預先錄制的序列提供了豐富的注釋，但它們在標注很少遇到的視點方面存在不足，這潛在地阻礙了感知模型的泛化能力。在本文中，我們提出了PanopticNeRF-360，這是一種新的方法，它將粗糙的3D注釋與嘈雜的2D語義線索相結合，以從任何視點生成一致的全景標簽和高質量圖像。我們的關鍵見解在于利用3D和2D先驗的互補性來相互增強幾何和語義。具體來說，我們建議利用3D和2D空間中的噪聲語義和實例標簽來指導幾何優化。同時，改進的幾何形狀通過經由學習的語義場在3D空間中合并3D和2D注釋來幫助過濾3D和注釋中存在的噪聲。為了進一步增強外觀，我們結合MLP和哈希網格來產生混合場景特征，在高頻外觀和主要的連續語義之間取得平衡。我們的實驗展示了PanopticNeRF-360在KITTI-360數據集的具有挑戰性的城市場景上優于現有標簽轉移方法的一流性能。此外，PanopticNeRF-360支持高保真、多視圖和時空一致的外觀、語義和實例標簽的全方位渲染。

3. 算法解析

PanopticNeRF和PanopticNeRF-360這兩篇文章希望干件啥事？

全景分割和實例分割的數據標注太貴了，希望用深度學習實現自動或者半自動化標注。

主要思想是啥？

主體框架還是用NeRF，因為它的新視點合成能力太強了！可以建立3D語義場和實例場來渲染大量的全景分割和實例分割標注。不過這篇文章側重的不是改進NeRF結構，而是利用NeRF的渲染結果去做聯合優化。

PanopticNeRF-360的具體原理是啥？

整個框架的輸入是前視雙目相機、兩個側視魚眼相機、3D粗標注（立方體、橢球、多面體都可以），對空間中的每個點x，先分別使用一個MLP f和哈希網格h建模幾何、語義和外觀信息，直接合并兩個特征（f1和f2）。之后就是兩個語義場，一個由3D粗標注建模的固定語義場和一個可學習的語義場，兩個語義場分別去渲染得到2D語義標簽，還有一個固定的3D實例場區渲染2D全景分割。用固定場渲染得到的實例分割和全景分割做為偽真值去引導幾何優化（優化的還是語義場中的體密度），再做一個幾何-語義的聯合優化去解決類別模糊問題（3D場景中兩個目標重疊區域該定義為什么類別）。

這篇文章主要是有兩個創新點，一方面它是第一個基于3D粗標簽來生成高質量全景分割的模型，另一方面它提出了兩種優化策略來同時優化幾何和語義預測。

這個優化策略具體是怎么搞的？

室外采集的圖像有大量的曝光，并且不同目標在3D空間中有很多重疊區域，因此直接做普通的幾何-語義聯合優化的話，改進效果不明顯。

因此，作者提出了兩種優化策略，分別是標簽引導的幾何優化和幾何語義聯合優化，實際上是引入了兩個固定的語義和實例場。

標簽引導的優化就是用固定場（還是來源于最初的3D粗標注）渲染得到的語義分割和全景分割做為真值去優化可學習語義場，更側重渲染2D分割圖中精確的物體邊界。而聯合優化也就是同時估計目標的3D類別和對應的2D分布，更側重在不同物體的3D框有交集時解決類別模糊問題。

這里面還有個線回歸，是用可學習語義場渲染的全景分割去優化固定場的渲染結果，實際運行中只用到了建筑物類別。這里也推薦工坊推出的新課程《國內首個面向自動駕駛目標檢測領域的Transformer原理與實戰課程》。

到這里，渲染分割圖夠了，那如何渲染RGB圖呢？

渲染RGB圖最關鍵的是高頻信息！語義標簽在相同目標上是連續的，目標對應的外觀卻包含了大量高頻細節，所以直接渲染RGB的話必然會損失高頻信息。這也就是pipeline中最前面哈希網格的作用，這一點和NICE-SLAM很像。

有個問題，前面哈希網格和MLP直接合并是不是太簡單了？

這里作者測試了直接合并，還有做element-wise "product"的方案（參考文章Factor fields: A unified framework for neural fields and beyond），發現直接合并的策略簡單但有效。

如果把固定的實例場也改為可學習的，會不會提高性能？

作者計算了整個視頻序列上3D目標交叉的數量和體積，發現大部分都是語義目標有交集，但是實例和實例之間的交集很少，所以沒必要再單獨建立一個實例場。

最后再簡單說一下這個聯合優化

前面說了，這部分主要用來預測重疊區域的語義類別，這也是提出可學習場的主要原因，不然使用固定場就可以預測幾何信息。這部分主要是兩個交叉熵損失，對每個類別k都引入了一個權重w，同時對每個3D點都引入語義損失：

可以看一下引入聯合優化的具體效果：

PanopticNeRF-360和PanopticNeRF的區別是什么？

PanopticNeRF是3DV 2022的文章，PanopticNeRF-360是它的擴展，主要區別如下：

1、普通全景分割生成->360°全景分割；

2、將實例標簽合并到了標簽引導的幾何優化中，從而實現全景標簽引導的幾何優化；

3、提高生成質量，mIoU提升0.8，PQ提升2.3；

4、將場景特征從純MLP改進為MLP和哈希網格的混合，提高訓練速度(2.5倍加速)。

4. 實驗結果

實驗是在KITTI-360上搞的，對比方案包括其他3D-2D和2D-2D的標簽遷移數據集，訓練用了一塊3090。

3D-2D語義標簽遷移的定量對比，PanopticNeRF-360的mIoU和Acc最高，相對于CRF方案兩個指標分別提升了2.4%和11.9%。

3D-2D語義標簽遷移的定性對比，在低紋理、曝光、重疊區域的預測效果很好。

魚眼3D-2D語義標簽遷移，同樣在曝光區域效果比較好。

3D-2D全景標簽遷移的定量結果，同樣超過了CRF方案。

3D-2D全局分割標簽遷移的定性對比。

算是消融實驗，對比不同方案做為場景表征的性能。

消融實驗，對比整個pipeline中各個模塊的影響。

消融實驗的定性對比，主要是證明各個損失對分割目標物體邊界的影響。

文章中做了大量的對比實驗，受于篇幅限制只展示這些，感興趣的讀者可以閱讀一下論文原文。

5. 總結

PanopticNeRF-360是PanopticNeRF的擴展版本，借助3D粗標注快速生成大量的新視點全景分割和RGB圖，并引入幾何-語義聯合優化來解決交叉區域的類別模糊問題，對于數據標注領域有一定價值。但感覺這個方案還是需要3D粗標注，而一步本身就需要很大的工作量，不值得后續能否不使用粗標注就生成2D分割呢。

審核編輯：黃飛

?