基于結構化建模的矢量高精地圖實時在線構建方法—MapTR

摘要： 矢量高精地圖能為決策規劃、軌跡預測、環境感知提供重要的高層級語義信息，是自動駕駛系統中不可或缺的部分。地平線聯合華中科技大學Vision Lab提出基于結構化建模的矢量高精地圖實時在線構建方法——MapTR。MapTR僅依靠車載環視相機數據，輸出自車周圍各類地圖要素的結構化表示，能夠實現實時的高質量的在線地圖構建。MapTR展現了在線建圖方案的潛力，具有很高的應用價值，有助于推動自動駕駛技術的發展。

晴天&陰天

?

雨天

夜晚

藍色-pedestrian crossing，黃色-lane divider，綠色-road boundary

圖1 MapTR在多樣而復雜的駕駛場景中都能穩定地構建高質量的矢量地圖

背景

矢量高精地圖（vectorized high-definition map）是應用于自動駕駛的高精度結構化電子地圖，其由駕駛場景各類地圖要素（如人行橫道、車道線、路沿等）的矢量化表示構成，為決策規劃、軌跡預測、環境感知提供重要的高層級語義信息。

以往的高精地圖通常以離線的方式構建，即利用地圖采集車的車載傳感器（激光雷達、相機、慣導等）采集場景數據，并通過自動化和人工相結合的方式對數據進行處理和矢量化語義標注。離線建圖的主要挑戰在于：1）采集、處理和標注都需要大量的人力和時間成本，且流程繁瑣；2）道路信息動態變化，離線構建的地圖時效性差，需要高頻更新來保證地圖的準確性；3）考慮到信息安全，離線地圖無法覆蓋到保密要求高的區域；4）當拓展到大規模大范圍的高精地圖應用時，離線建圖在人力、時間和維護成本上的問題將更加凸顯。

在線建圖是指在自動駕駛車輛行駛過程中利用車載傳感器實時地感知自車周圍的地圖要素并生成地圖。在線建圖無需人工處理、標注和維護，相比離線建圖，成本低，可拓展性強，易用性強。然而，目前的在線建圖方法在建圖質量和建圖速度兩方面都難以達到自動駕駛實際應用的要求。高質量高效率在線建圖成為了業界亟待解決的技術難題。

針對這一問題，地平線聯合華中科技大學Vision Lab提出了基于結構化建模的矢量高精地圖實時在線構建方法——MapTR。MapTR通過對地圖要素的結構化建模消除表示上的歧義性，降低地圖要素的復雜度和學習難度，并且采用端到端的結構化框架高效地生成矢量高精地圖。MapTR在nuScenes數據集上達到了最好的建圖質量和實時的運行速度。豐富的可視化結果表明（如圖一），MapTR在多樣而復雜的駕駛場景中都能穩定地構建高質量的矢量地圖。MapTR展現了在線建圖方案的潛力，具有很高的應用價值和落地前景，有助于推動自動駕駛技術的發展。

地圖要素結構化建模

圖二? 地圖要素結構化建模 ? MapTR提出了新穎的結構化建模方式?；趲缀蜗闰?，MapTR將開環地圖要素（如車道線）離散化為polyline（多段線），將閉環地圖要素（如人行橫道）離散化為polygon（多邊形）。Polyline和polygon都可以用以某種順序排列的若干節點統一地表示。通過等間隔采樣可以確定節點，但節點的排列方式難以明確定義和表示，同一拓撲結構可以對應于多種等效的節點排列方式。? 具體而言，對于polyline，如圖二（左），存在2種等效的節點排列方式，對應于兩種相反的連接節點的順序。對于polygon，如圖二（右），存在??種等效的節點排列方式（??為節點數量），任一節點都可以作為起始點，且存在兩種相反的連接順序。為了消除表示上的歧義性且準確地描述節點之間的排列方式（連接關系），MapTR引入等效排列集合的概念，所有等效的節點排列方式構成的集合作為等效排列集合。 ? MapTR將地圖要素統一地建模為節點點集??和關于節點的等效排列集合??，節點點集??用于描述地圖要素關鍵點的位置信息，等效排列集合??包含了節點之間所有的等效的連接關系， 用于描述地圖要素的拓撲結構。節點點集和等效排列集合??構成了地圖要素的結構化表示??。

端到端訓練

在結構化建模的基礎上，MapTR采用了基于DETR[1]的set prediction的方式進行端到端訓練。MapTR引入分層級匹配機制進行標簽分配，即實例級匹配（instance-level matching）和節點級匹配（point-level matching）。 實例級匹配：在預測的地圖要素和真實的地圖要素之間找到最優的一一對應關系，匹配的依據為地圖要素之間的類別相關性和位置相關性：

? 節點級匹配：對于每一個地圖要素，從等效排列集合中找到最優的排列，使得預測的節點和真實的節點一一對應且點對之間的距離之和最?。?

損失函數：根據分層級匹配的結果，損失函數由classification loss，point2point loss和edge direction loss組成：

Classification loss根據實例級匹配的結果對地圖要素的類別預測進行約束：

Point2point loss根據節點級匹配的結果，對匹配的點對之間的位置關系進行約束：

Edge direction loss對預測的edge和真實的edge的方向一致性進行約束：

結構化建圖框架

在結構化建模的基礎上，MapTR采用了結構化框架端到端地輸出場景內所有地圖要素的結構化表示，無需后處理。圖三為MapTR的整體框架。MapTR以車載相機組實時采集的圖像數據作為輸入。Map Encoder對原始圖像提取語義特征，并通過2D-to-BEV變換方法（如GKT[2]、IPM[3]、Deformable Attention[4]、LSS[5]），將2D特征圖轉換為統一的BEV（bird’s eye view）特征圖。Map Decoder采用了分層級的query embedding機制結構化地編碼地圖要素的信息。分層級query和BEV特征圖進行交互，并且 query之間進行實例內和實例間的交互。分層級query迭代地更新，最終輸出地圖要素的語義類別和節點位置。

圖三 結構化建圖框架

實驗

圖四展示了在nuScenes數據集上MapTR與其他在線建圖方法（HDMapNet[1]和VectorMapNet[2]）的對比，MapTR在建圖速度和建圖質量兩方面都有明顯的優勢。MapTR-nano達到了實時的推理速度（25.1FPS），8倍快于其他視覺方法，并且建圖質量更高（+3.3mAP）。MapTR-tiny達到了遠好于多模態方法的建圖質量（+13.5mAP）并且仍有3倍的速度優勢。

圖四 與其他在線建圖方法的對比

圖五是關于建模方式的消融實驗。相比于把地圖要素建模為排列固定且唯一的序列點集，基于等效排列概念的結構化建模極大地簡化了地圖要素的學習難度，并且顯著提高了建圖質量。

圖五 關于建模方式的消融實驗 圖六是關于2D-to-BEV變換方法的消融實驗。MapTR能夠兼容各種2D-to-BEV變換方法，并且基于多種方法都能取得穩定的建圖速度和質量。

圖六 關于2D-to-BEV變換方法的消融實驗