標注神器！AAAI'24最新：第一個交互式3D目標檢測器！

1. 寫在前面

在LiDAR場景中標注3D目標非常繁瑣，今天筆者為大家推薦一篇加速3D標注的最新工作iDet3D。這個交互式的標注算法支持2D界面，可以以最少的交互來標注每個場景中的整個目標。

下面一起來閱讀一下這項工作~

2. 摘要

對LiDAR場景中的多個三維物體進行精確標注是一項費力且具有挑戰性的工作。盡管先前的一些研究試圖利用半自動方法來進行具有成本效益的邊界框標注，但這些方法在有效地處理大量多類對象方面具有局限性。為了有效加速3D標注流水線，我們提出了一種高效的交互式3D目標檢測器iDet3D。iDet3D支持用戶友好的2D界面，可以減輕探索3D空間提供點擊交互的認知負擔，使用戶能夠以最少的交互來標注每個場景中的整個物體?？紤]到三維點云的稀疏性，我們設計了負點擊模擬( negative click simulation，NCS )，通過減少假陽性預測來提高精度。此外，iDet3D結合了兩種點擊傳播技術，以充分利用用戶交互：( 1 )密集點擊引導( DCG )，用于在整個網絡中保存用戶提供的信息；( 2 )空間點擊傳播( SCP )，用于根據用戶指定的對象檢測同一類的其他實例。通過我們的大量實驗，我們發現我們的方法可以在少量的點擊中構建精確的注釋，這表明了我們的方法作為三維物體檢測的有效注釋工具的實用性。

3. 效果展示

iDet3D中點擊編碼的可視化示例：(a) 輸入點云和用戶點擊(紅色箭頭)。(b) 在目標對象上突出顯示相應的基于距離編碼的用戶交互。

看一下具體標注過程：( a ) 給定輸入點云。( b ) 提供對行人的正向點擊(紅色圓圈)，iDet3D在一次點擊中檢測到場景中多個不同類別的物體。( c )在第2次迭代中，通過增加一個負點擊(藍色圓圈)，可以一次性過濾掉假陽性預測。( d )真值。在幾次迭代內，就可以獲得高質量的標注結果。

4. 具體原理是什么？

考慮到3D點云的稀疏性質，iDet3D設計了負點擊模擬 (NCS)，通過減少誤報預測來提高準確性。還結合了兩種點擊傳播技術來充分利用用戶交互：(1) 密集點擊引導 (DCG)，用于在整個網絡中保留用戶提供的信息；(2) 空間點擊傳播 (SCP)，用于檢測其他實例。

iDet3D的訓練流程。給定用戶對目標對象的點擊，將點擊轉化為點擊編碼。( a )密集點擊引導( DCG )在輸入端和中間層將編碼融合到骨干網架構中。( b )負點擊模擬( Negative Click Simulation，NCS )通過選擇具有高前景分數的具有挑戰性的背景點來隨機模擬可能的負點。( c )后續的空間點擊傳播( Spatial Click Propagation，SCP )模塊根據特征嵌入之間的相似性，有效地傳播用戶點擊來檢測同一類的其他對象。

利用空間點擊傳播( SCP )模塊生成關聯圖的實例：( a )點擊關于N個輸入點的汽車對象(紅色箭頭)上的編碼E。( b )對N′個降采樣點(經過降采樣層從N點降至N′點)點擊編碼E′。( c )由SCP生成的點擊相關圖M和( d )與真實3D邊界框覆蓋的可視化。注意，與點擊同一類的點在輸出的相關圖中被突出顯示。

5. 和其他SOTA方法對比如何？

baseline和iDet3D在KITTI val集上的定量結果。

nuScenes數據集的基線和iDet3D ( IA-SSD Backbone)的定量結果。

6. 總結

這篇文章提出了第一個交互式3D目標檢測器iDet3D，能夠在幾次點擊中檢測出大量的多類物體。iDet3D設計了NCS來過濾通過負點擊產生的假陽性預測，以及兩個點擊傳播模塊( DCG和SCP)來為用戶提供指導。但是在這項工作中，iDet3D僅對單幀圖像進行分析，忽略了連續幀之間的互補信息。未來作者將考慮處理多個連續幀之間需要對齊的點嵌入，進一步改進iDet3D。