基于掩碼模型的LiDAR感知模型預訓練策略

本文提出了BEV-MAE，一種高效的3D點云感知模型預訓練算法，可直接使用大量的無標記點云數據對感知模型進行預訓練從而降低對點云標記的需求。BEV-MAE首先使用鳥瞰圖引導的掩碼策略來對3D點云輸入進行掩碼，該部分被掩蓋的點云將被替換為共享的可學習令牌。之后被處理過的點云依次輸入到3D編碼器和輕量級的解碼器中，由輕量級的解碼器重建被掩蓋的點云并預測被掩蓋區域的點云密度。BEV-MAE在自動駕駛感知數據集Waymo上以最低的預訓練代價取得了最高的3D目標檢測精度提升。同時，基于Transfusion-L檢測器，BEV-MAE在自動駕駛感知數據集nuScenes上取得了領先的3D點云目標檢測結果。? ??

研究背景：

3D目標檢測是自動駕駛中最基本的任務之一。近年來，由于標注數據集和數據量的增加，基于激光雷達（LiDAR）的3D目標檢測算法取得了顯著的成功。然而，現有的基于激光雷達的3D目標檢測算法通常采用從頭開始訓練的范式（training from scratch）。這種范式存在兩個顯著的缺陷。首先，從頭開始訓練的范式在很大程度上依賴于大量的標注數據，而對于3D目標檢測而言，標注準確的物體包圍框和分類標簽是需要大量人工參與的，且非常昂貴和耗時的。例如，在KITTI數據集上標注一個物體需要大約114秒。其次，在許多實際應用場景中，自動駕駛車輛在行駛過程中可以生成大量無標注的點云數據，而從頭開始訓練的范式不能很好地將這部分數據利用起來。

方法部分：

針對該問題，作者研究了一種針對自動駕駛場景的 3D 點云自監督預訓練方法，提出了一種名為 BEV-MAE 的鳥瞰圖掩碼自編碼器框架，專門用于預訓練自動駕駛場景的 3D 目標檢測器。具體流程圖如下圖所示：

? ?

BEV-MAE首先使用鳥瞰圖引導的掩碼策略來對3D點云輸入進行掩碼。然后，這部分被掩蓋的點云將被替換為共享的可學習令牌。之后，將處理后的點云依次輸入到3D編碼器和輕量級的解碼器中。最后，輕量級的解碼器將重建被掩蓋的點云并預測被掩蓋區域的點云密度。

a、鳥瞰圖掩碼策略

在基于激光雷達的3D目標檢測中，點云通常被劃分為規則的體素塊。一種簡單的掩碼策略是像視覺中的補丁掩碼一樣，對體素化后的點云進行掩碼。然而，這種簡單的體素掩碼策略沒有顯式地學習自動駕駛中主流的3D目標檢測方法中使用的鳥瞰圖特征表示。

為此，作者提出了一種鳥瞰圖引導的掩碼策略對鳥瞰圖平面中的點云進行掩碼操作。

具體而言，假設點云被編碼和轉換后鳥瞰圖視角中的特征分辨率為，首先預定義一個大小為的網格狀鳥瞰圖平面。然后，根據點云的坐標將每個點云投影到預定義平面的相應鳥瞰圖網格中。之后，作者將隨機選擇一部分非空的鳥瞰圖網格作為被掩碼的網格，并將其余的鳥瞰圖網格視為可見網格。最后將所有投影到可見網格中的點云視為掩碼后的點云輸入到網絡中。

b、共享可學習token

常用的基于體素的3D目標檢測器的3D編碼器通常由多個稀疏卷積操作組成，而稀疏卷積僅會處理非空體素附近的特征，因此，將掩碼后的點云作為輸入時，3D編碼器的感受野將會變小。為了解決這個問題，作者采用一個共享的可學習令牌替換被掩蓋的點云。具體來說，作者使用完整點云的坐標作為稀疏卷積的輸入索引，并在第一個稀疏卷積層中用共享的可學習令牌替換被掩碼點云的特征，同時保持其他稀疏卷積層不變。所提出的共享可學習令牌的唯一目的是將信息從一個點或體素傳遞到另一個點或體素，以維持感受野大小不變，而不引入任何額外的信息，包括被掩碼點的坐標，來降低重建任務的難度。? ??

c、掩碼預測任務

所提出的BEV-MAE由兩個任務作為監督，即點云重建和密度預測。對于每個任務，都采用獨立的線性層作為預測頭來預測結果。

對于點云重建，與之前的工作類似，BEV-MAE通過預測被掩碼點云的坐標來重建掩碼輸入。采用chamfer-distance作為訓練損失函數。

對于密度預測，不同于圖像、語言和室內點云，自動駕駛場景中室外點云的密度具有隨離激光雷達傳感器越遠而越稀疏的特性。因此，密度可以反映每個點或物體的位置信息。而對于目標檢測而言，檢測器的定位能力至關重要。因此，點云密度預測任務能夠一定程度上指導3D編碼器獲得更好的定位能力。

具體而言，對于每個被掩碼的網格，計算此網格中的點云數量，并通過將點云數量除以其在3D空間中的占用體積來得到對應的密度真值。然后，BEV-MAE使用線性層作為預測頭來預測密度。密度預測使用Smooth-L1損失來監督此任務。

實驗部分：? ?

BEV-MAE主要在兩個主流的自動駕駛數據集nuScenes和Waymo上進行實驗。

在Waymo上，BEV-MAE以較低的預訓練代價，取得了更高的3D目標檢測性能提升，如下圖所示：

在nuScenes上，以BEV-MAE作為預訓練算法，能夠進一步提升當前最強點云3D目標檢測器的性能。以TransFusion-L作為基礎3D檢測器，外加BEV-MAE的預訓練算法，在nuScenes數據集上取得了先進的單模態點云3D目標檢測結果。

結論：

本文針對點云預訓練問題，提出了BEV-MAE，一種基于掩碼模型的LiDAR感知模型預訓練策略，在預訓練效率和性能上表現出色，可緩解LiDAR感知模型對標記數據的需求。

審核編輯：黃飛