第一個(gè)大規模點(diǎn)云的自監督預訓練MAE算法Voxel-MAE

作者：Chen Min， Xinli Xu， Dawei Zhao， Liang Xiao， Yiming Nie， Bin Dai

基于掩碼的自監督預訓練方法在圖像和文本領(lǐng)域得到了成功的應用。但是，對于同樣信息冗余的大規模點(diǎn)云，基于掩碼的自監督預訓練學(xué)習的研究還沒(méi)有展開(kāi)。在這篇文章中，我們提出了第一個(gè)將掩碼自編碼器引入大規模點(diǎn)云自監督預訓練學(xué)習的方法：Voxel-MAE。不同于2D MAE采用RGB像素回歸，3D點(diǎn)云數量巨大，無(wú)法直接學(xué)習每個(gè)點(diǎn)云的數據分布，因此Voxel-MAE將點(diǎn)云轉成體素形式，然后進(jìn)行體素內是否包含點(diǎn)云的二分類(lèi)任務(wù)學(xué)習。這種簡(jiǎn)單但是有效的分類(lèi)學(xué)習策略能使模型在體素級別上對物體形狀敏感，進(jìn)而提高下游任務(wù)的精度。即使掩蔽率高達90%，Voxel-MAE依然可以學(xué)習有代表性的特征，這是因為大規模點(diǎn)云的冗余度非常高。另外考慮點(diǎn)云隨著(zhù)距離增大變稀疏，設計了距離感知的掩碼策略。2D MAE的Transformer結構無(wú)法處理大規模點(diǎn)云，因此Voxel-MAE利用3D稀疏卷積來(lái)構建encoder，其中position encoding同樣可以只處理unmasked的體素。我們同時(shí)在無(wú)監督領(lǐng)域自適應任務(wù)上驗證了Voxel-MAE的遷移性能。Voxel-MAE證明了對大規模點(diǎn)云進(jìn)行基于掩碼的自監督預訓練學(xué)習，來(lái)提高無(wú)人車(chē)的感知性能是可行的。KITTI、nuScenes、Waymo數據集上，SECOND、CenterPoint和PV-RCNN上的充分的實(shí)驗證明Voxel-MAE在大規模點(diǎn)云上的自監督預訓練性能。

Voxel-MAE是第一個(gè)大規模點(diǎn)云的自監督掩碼自編碼器預訓練方法。

不同于MAE中，Voxel-MAE為大規模點(diǎn)云設計了適合的體素二分類(lèi)任務(wù)、距離感知的掩碼策略和3D稀疏卷積構建的encoder等。

Voxel-MAE的自監督掩碼自編碼器預訓練模型有效提升了SECOND、CenterPoint和PV-RCNN等算法在KITTI、nuScenes、Waymo數據集上的性能。

Voxel-MAE同時(shí)在無(wú)監督領(lǐng)域自適應3D目標檢測任務(wù)上驗證了遷移性能。

算法流程

圖1 Voxel-MAE的整體框圖：首先將大規模點(diǎn)云轉成體素表示，然后采用距離感知的掩碼策略對體素進(jìn)行mask，再將unmasked的體素送入不對稱(chēng)的encoder-decoder網(wǎng)絡(luò )，重建體素。最后，采用判斷體素內是否包含點(diǎn)云的二分類(lèi)交叉熵損失函數端到端訓練整個(gè)網(wǎng)絡(luò )。Encoder采用三維稀疏卷積網(wǎng)絡(luò )構建，Decoder采用三維反卷積實(shí)現。

Range-aware Masking

遵循常見(jiàn)的3D點(diǎn)云目標檢測的設置，我們將WXHXD范圍內的大規模點(diǎn)云沿著(zhù)XYZ方向分成大小為VWXVHXVD的體素。所有體素的個(gè)數為nl，包含點(diǎn)云的體素個(gè)數為nv。

不同于2D圖像，3D點(diǎn)云的分布隨著(zhù)離激光雷達的距離增加越來(lái)越稀疏。因此不能對不同位置的點(diǎn)云采用相同的掩碼策略。

對此我們設計了距離感知的掩碼策略。即對近處稠密的點(diǎn)云masking多，對遠處稀疏的點(diǎn)云masking少。具體我們將點(diǎn)云分成30米以?xún)龋?0-50米，50米以外，然后分別采用r1，r2和r3三種掩碼率來(lái)對點(diǎn)云體素進(jìn)行隨機掩蔽，其中r1》r2》r3。剩余的unmasked的體素個(gè)數為nun。對于所有包含點(diǎn)云的體素nl，我們將其點(diǎn)云體素分類(lèi)目標設為1，其他設為0。

3D Sparse Convolutional Encoder

MAE論文中采用Transformer網(wǎng)絡(luò )架構對訓練集中的unmasked部分進(jìn)行自注意力機制學(xué)習，不會(huì )被masked部分影響。但是由于unmasked的點(diǎn)云數量仍然很大，幾十萬(wàn)級別，Transformer網(wǎng)絡(luò )無(wú)法處理如此大規模unmasked的點(diǎn)云數據。研究者通常采用3D SparseConvolutions來(lái)處理大規模稀疏3D點(diǎn)云。因此不同于2D MAE，Voxel-MAE采用3D SparseConvolutions來(lái)構建MAE中的encoder，其采用positional encoding來(lái)只對unmasked的體素聚合信息，從而類(lèi)似MAE中的Transformer結構，可以降低訓練模型的計算復雜度。

3D Deconvolutional Decoder

Voxel-MAE采用3D反卷積構建decoder。最后一層輸出每個(gè)體素包含點(diǎn)云的概率。decoder網(wǎng)絡(luò )簡(jiǎn)單，只用于訓練過(guò)程。

Voxel-MAE的encoder和decoder的結構如下：

Reconstruction Target

2D MAE中采用masked部分的RGB像素回歸作為掩碼自編碼器自監督學(xué)習的目標，但是3D點(diǎn)云的數量很大，回歸點(diǎn)云需要學(xué)習每個(gè)點(diǎn)云的數據分布，是難以學(xué)習的。

對于3D點(diǎn)云的體素表示，體素內是否包含點(diǎn)云非常重要。因此我們?yōu)閂oxel-MAE設計了體素是否包含點(diǎn)云的二分類(lèi)任務(wù)。目標是恢復masked的體素的位置信息。雖然分類(lèi)任務(wù)很簡(jiǎn)單，但是可以學(xué)習到大規模點(diǎn)云的數據分布信息，從而提高預訓練模型的性能。

實(shí)驗結果

采用OpenPCDet算法基準庫，在KITTI、nuScenes、Waymo數據集上進(jìn)行了實(shí)驗驗證。

1.KITTI

2. Waymo

3. nuScenes

4. 3D點(diǎn)云無(wú)監督領(lǐng)域自適應任務(wù)驗證遷移性能

5. 3D點(diǎn)云重建可視化圖

審核編輯：郭婷