ORB-SLAM3整體結構框架分析

1、整體框架

1.1 Tracking 模塊 處理傳感器信息并實時計算當前幀在激活地圖中的姿態。同時該模塊也決定了是否將當前幀作為關鍵幀。在視覺-慣性模式下，通過在優化中加入慣性殘差來估計剛體速度和 IMU 偏差。當追蹤丟失時，tracking 線程會嘗試在 Atlas 地 圖中重定位當前幀。若重定位成功，恢復追蹤，并在需要的時候切換激活地圖。若一段時間后仍未激活成功，該激活地圖會被存儲為未激活地圖，并重新初始化一個新的激活地圖。

1.2 Local mapping 模塊 加入關鍵幀和地圖點到當前激活地圖，刪除冗余幀，并通過對當前幀的附近關鍵幀操作，利用視覺 BA 或視覺-慣性 BA 技術來優化地圖。此外，在慣性模式下，mapping 線程會利用最大后驗估計(MAP)技術來初始化和優化 IMU 參數。

1.3 Loop and map merging 模塊 每當加入一個新的關鍵幀，該線程在激活地圖和整個 Atlas 地圖中檢測公共區域。如果該公共區域屬于激活地圖，它就會執行回環校正；如果該公共區域屬 于其他地圖，就會把它們融合為一個地圖，并把這個融合地圖作為新的激活地圖。在回環校正以后，一個獨立線程就會進行全局 BA，進一步優化地圖，同時并不影 響實時性能。

1.4 Atlas 模塊 一個由一系列離散地圖組成的多子圖系統。它會維護一個激活地圖，用于tracking 線程對當前幀的定位，同時 local mapping 線程會利用新的關鍵幀信 息持續對該地圖優化和更新。在 Atlas 中的其它地圖被稱為未激活地圖。該系統基于詞袋模型對關鍵幀信息建立數據庫，用于重定位、閉環檢測和地圖融合。

2、IMU 和 Camera 數據融合獲取位姿數據的過程

IMU 雖然可以測得角速度和加速度，但這些量都存在明顯的漂移，使得積分 兩次得到的位姿數據非常不可靠。但是，短時間內的快速運動，IMU 能夠提供一 些較好的估計，這正是相機的弱點。當運動過快時，相機會出現運動模糊，或者 兩幀之間重疊區域太少以至于無法進行特征匹配，所以純視覺 SLAM 非常害怕快 速的運動。而有了 IMU，即使在相機數據無效的那段時間內，我們也能保持一個較好的位姿估計，這是純視覺 SLAM 無法做到的。相比于 IMU，相機數據基本不 會有漂移，所以相機數據可以有效的估計并修正 IMU 讀數中的漂移，使得在慢速運動后的位姿估計依然有效。當圖像發生變化時，本質上我們沒法知道是相機自 身發生了運動，還是外界條件發生了變化，所以純視覺 SLAM 難以處理動態的障 礙物。而 IMU 能夠感受到自己的運動信息，從某種程度上減輕動態物體的影響。主要流程如下：

(1) 利用相機和 IMU 分別進行圖像采集和慣性數據采集，且 IMU 的采集頻率大于 相機的采集頻率； (2) 提取相機獲取的每一幀圖像的特征點，然后提取特征點的描述子（ORB-SLAM 采用），匹配特征點；此處，還可以采用光流追蹤的方法； (3) 對 IMU 得到的多組 IMU 數據進行預積分，計算出兩幀圖像對應的 IMU 位置和 速度；

(4) IMU 初始化（講解 ORB-SLAM3 采用的方法）,這一步的目的是獲取 IMU 參數較好的初始值：速度、重力以及 Bias。 1> Vision-Only

采用 ORB-SLAM 經典框架純視覺初始化流程，按照關鍵幀速率 4Hz 持續運行2s，然后我們可以得到按比例縮放的地圖，包括 10 個關鍵幀以及上百個地圖點，然后通過 Visual-Only BA 進行優化。 2> Inertial-Only

這一步目的是獲得 IMU 參數最優估計。利用前述單目視覺 SLAM 初始化后穩 定運行的數據，以及這些關鍵幀之間的 IMU 測量，包括：尺度因子、重力方 向、IMU 傳感器偏置參數、關鍵幀的無尺度速度。這些 IMU 測量放在一起構 成狀態向量，構建優化問題求解。一旦慣性優化完成，幀的姿態、速度以及 3D 地圖點就會以估計的尺度進行縮放，同時旋轉以使 z 軸與估計的重力方向對齊。

3> Visual-Inertial 一旦視覺以及 IMU 有了較好的估計后，進行一個聯合優化進一步對這些參數進行精化。 (5) 結合上面得到的慣性殘差和視覺殘差，視覺-慣性 SLAM 可以看作是基于關鍵幀的最小化問題。在后期中，基于下式進行計算優化。

在 tracking 過程中，只優化最后兩幀的位姿，同時保持地圖點固定。在mapping 過程中，為了解決全圖優化問題，若圖的規模比較大就會比較棘手。ORB-SLAM3 采用了滑動窗口思想，把關鍵幀及其地圖點的滑動窗口作為優化變量。

3、ORB-SLAM3 的基于特征點的 tracking 模塊的優缺點，改善的機會點或方向

首先，ORB-SLAM3 視覺前端做法采用特征點提取+描述子匹配特征點的方式。因為有描述子，所以對地圖的維護很方便（包括重定位、閉環、全局優化）。尤其是對室內環境，當視覺上共視關系較多的時候，這種方法能很大程度上提高定 位精度和局部穩定性。但這種方式也有缺點，每幀圖像都要提取特征點數量的描述子，比較浪費時間。在 tarcking 過程中，如果運動過快（圖像出現模糊），比較容易 tracking loss。此外，純視覺 ORB-SLAM3 嚴重依賴特征點的提取與匹配 效果，在如紋理缺失的環境下運行會無法得到足夠多的穩定匹配點對，此時光束平差法缺乏足夠多的輸入信息，無法有效地修正位姿偏差?；谶@點，有很多人 也有不同的方法，還有一個主流方法是，特征點提取+光流跟蹤的方式。采用這種方式tracking 要魯棒一些，但這種方式不容易構建全局 map，同時在閉環和重定位階段也需要另外提取特征點和描述子。同時，visual-inertial ORB- SLAM3 通過引入 IMU 來約束和修正特征缺失帶來的偏差，得到尺度信息，在一定程度上解決了過度依賴嚴重依賴特征點問題。

ORB-SLAM3 引入了 Atlas 系統，在 tracking 過程中，如果跟丟了，可以利用當前幀查詢 Atlas DBoW 數據庫。這個查詢可以利用所有先驗信息，在所有地圖 中找相似的關鍵幀。一旦有了候選關鍵幀，地圖和匹配的地圖點就可以進行重定位，極大提升性能，增大魯棒性。

個人認為，ORB-SLAM3 此次更新的一大變化就是引入了 Atlas 地圖，相當于 開辟了一條新的方向。當前由于只是第一個版本，所以在這方面的改進空間還有 很大，可以在這個方向做一些研究。同時 IMU 相比于 camera，有很多互補優勢， 如何讓 IMU 和 camera 更好的結合，發揮更好的效果，也是可以研究改進的點。IMU 初始化也有很多不足，采用一個更好的方法進行 IMU 初始化，也是一個可以改進的點。 ?

審核編輯：黃飛

?