TRO新文：用于數據關聯、建圖和高級任務的對象級SLAM框架

對象SLAM被認為對于機器人高級感知和決策制定越來越重要?，F有研究在數據關聯、對象表示和語義映射方面存在不足，并且經常依賴于額外的假設，從而限制了它們的性能。在本文中，我們提出了一個綜合的對象SLAM框架，該框架專注于基于對象的感知和面向對象的機器人任務。首先，我們提出了一種集成數據關聯方法，用于通過結合參數和非參數統計測試來關聯復雜條件下的對象。此外，我們建議基于iForest和線對齊的對象建模的離群魯棒質心和尺度估計算法。然后由估計的通用對象模型表示輕量級和面向對象的地圖?？紤]到對象的語義不變性，我們將對象圖轉換為拓撲圖以提供語義描述符以實現多圖匹配。最后，我們提出了一種對象驅動的主動探索策略，以在抓取場景中實現自主建圖。

提出的對象SLAM框架。

1 系統框架

本框架主要包含4個模塊：

1.Tracking module:基于ORB-SLAM2實現相機軌跡跟蹤并生成稀疏點云。

2.Semantic module:采用YOLO物體檢測網絡,結合點云測量與2D檢測結果進行數據關聯。利用iForest和線段對齊算法優化點云和線段?；陉P聯和優化結果參數化物體。

3.Object map:實現基于物體的輕量語義地圖表示。

4.Application module:Augmented reality:基于實際物體姿態實現虛實模型配準,考慮遮擋和碰撞效果。Scene matching:將對象地圖轉換為拓撲圖,設計物體描述子實現多情景匹配。Active exploration:利用物體不完整度量式信息熵驅動主動構建全局對象地圖,實現抓握場景。

總的來說,框架實現穩健的數據關聯、精確的物體參數化以及基于語義對象地圖的高層應用,解決了對象SLAM涉及的主要挑戰。語義對象地圖能為機器人抓取、導航、規劃等復雜任務提供必要信息,有助于實現智能機器人

2 對象級數據關聯

本文提出一個集成方法來執行多幀間的對象數據關聯。關聯算法主要包含4部分:

(1) 運動IOU模型:如果全局物體在前兩幀(t-1和t-2)可觀測,則基于勻速運動假設預測當前幀(t)的邊界框,與檢測到的本地物體計算IOU值。

(2) 非參數檢驗模型:如果連續觀測到物體失敗,則直接應用非參數Wilcoxon檢驗對P和Q(代表物體點云)進行驗證。假設它們來自同一物體,則應滿足同一分布 fP = fQ 。

(3) 單樣本t檢驗模型:分析不同視角下物體質心C和c是否來自同一物體。建立t統計量并與臨界值比較:

(4)投影IOU模型:將三維點云投影到二維圖像,擬合投影邊界框與檢測框的IOU(5) 雙樣本t檢驗模型:如果存在重復物體,則對兩個物體的歷史質心C1和C2建立t統計量并比較,實現合并:

其中d為兩個物體的池化標準差。通過集成利用不同統計特征,提高了數據關聯的魯棒性和成功率。實驗結果表明,與單一方法相比,集成方法能更有效地關聯不同視角下的物體,為下一步的參數化奠定基礎?？偟膩碚f,該方法充分利用了點云和質心分別顯示的非高斯分布和高斯分布特性,通過不同統計模型集成提高關聯性能。

對象級數據關聯示意圖

3 對象參數化

我們利用立方體和二次曲面、圓柱體來表示對象，而不是復雜的實例級或類別級模型。對于具有規則形狀的對象，例如書本、鍵盤和椅子，我們使用立方體（由它們的頂點 Po 編碼）來表示它們。對于球、瓶、杯等沒有明確方向的非規則物體，采用二次/圓柱（由其半軸Qo編碼）表示，忽略其方向參數。這里，Po 和 Qo 在對象坐標系中表示，僅取決于尺度 s。為了將這些元素對準到全局地圖，我們還需要估計它們的平移 t 和方向 θ。全局坐標系中的立方體和二次曲面表示如下：

隨后，提出了基于iForest和線段對齊的離群點過濾算法,實現精確的對象尺度、位置和方位估計。主要包括以下部分:

(1) 平移和尺度估計:利用iForest去除點云中的離群點,剩余點云實現對象的初始尺度s和位置t估計。算法1描述了基于iForest的算法:

(2) 方位估計:分為初始化和優化兩個階段。

算法2描述了初始化算法:

(3) 對象表示:根據物體形狀使用立方體或對角模型表示,編碼尺度s、位置t和方位角θ。

總的來說,采用iForest過濾離群點和線段對齊初始化方位角,有效實現了精確的6DOF姿態估計。最終構建了基于物體類型的通用模型,實現了輕量級語義對象地圖：

3 對象描述子

為了描述不同物體間的關系,文章構建了語義拓撲圖和基于此的隨機游走描述子。

拓撲圖:通過物體的語義標簽、位置、姿態和尺寸信息,構建不同物體及物體與情景的關系圖:

表示物體節點,編碼物體信息

表示邊,編碼兩個物體的距離d和角度α

描述子:基于拓撲圖中不同物體間的關系,采用隨機游走的方式構建物體描述子υ:

r是一個隨機行走路徑,起始于被描述的物體,最多到達i個物體。每行重復j次隨機行走。

多維度信息:為了提高魯棒性,描述子中考慮物體標簽l、尺寸s、距離d和角度α四個維度:

4. 場景匹配:基于多個物體對的描述子匹配,求解兩個情景的轉換矩陣T:

· 生成兩個情景T1和T2的描述子V1和V2。

· 對每個對象v1在V1中找到在V2中的最佳匹配v2。

· 根據多個物體對,利用奇異值分解(SVD)求解轉換矩陣T。

魯棒性:采用RANSAC算法去除誤匹配物體對,提高匹配的魯棒性?？偟膩碚f,基于拓撲圖實現的物體描述子充分利用了物體的語義、尺寸和相對關系,能有效實現不同視角下的場景匹配?？紤]更多非物體的語義特征可能進一步提高魯棒性和準確性。

4 實驗結果

數據關聯:實驗結果表明,集成不同統計模型超過單一方法。表明點云和質心確實呈現非高斯分布和高斯分布。

2. 對象參數化: 實驗結果表明, iForest和線段對齊有效實現精確的6DOF姿態估計。并構建了基于形狀的通用對象模型

3. 對象地圖構建:可在不同數據集上構建語義對象地圖,處理不同類、數量、尺寸和方位角的物體。實驗表明系統的魯棒性。

4. 增強現實:基于精確的物體姿態信息,實現虛擬模型與實物精準配準?？紤]遮擋和碰撞效果,提高虛擬可信度。

5. 場景匹配:基于物體描述子,可在不同視角和照明條件下實現場景匹配和多地圖融合。具有魯棒性。

6. 主動地圖構建:通過信息熵量化物體觀測完整度,驅動主動建設語義對象地圖。實驗表明比隨機探索和全面覆蓋策略更高效和更準確。

7. 機器人抓取:基于語義對象地圖信息,實現機器人抓握。在虛擬環境和實際環境下的成功率分別達到86%和81%。

局限性:數據關聯在極端情況下存在問題;對象姿態估計受離群點影響而不準確;場景匹配依賴精確的對象建模。改進方向:優化數據關聯魯棒性;采用機器學習提高姿態估計精度;構建更通用的物體描述子;采用多源感知實現全景對象地圖。

總的來說,實驗結果充分證明了對象SLAM框架在不同應用上的有效性和潛力。同時指出了當前的局限性和未來的改進方向。這對促進對象SLAM技術的發展至關重要。