UrbanScene3D大型數據集平臺用于研究城市場景感知和重建

本次導讀論文提出了一個用于研究城市場景感知和重建的大型數據平臺UrbanScene3D。該數據集包含超過12.8萬張高分辨率圖像，涵蓋16個場景，包括總面積136平方公里的大型真實城市場景和虛擬城市場景。該數據集還包含高精度激光雷達掃描和數百個具有不同觀察模式的圖像集，為設計和評估無人機路徑規劃和三維重建算法提供了全面的基準。此外，基于Unreal引擎和Airsim模擬器，數據集中每個建筑物均手動標注了唯一的實例標簽，可以生成各種數據，例如二維深度圖、二維/三維邊界框和三維點云/網格分割等。帶有物理引擎和照明系統的模擬器不僅可以生成各種數據，還可以讓用戶在提供的城市環境中模擬無人車和無人機，為未來的研究提供幫助。下表展示了UrbanScene3D中不同場景的統計數據：

表1 UrbanScene3D不同場景數據統計

II 數據集特點

下表對比了UrbanScene3D與不同的戶外場景數據集：

表2 不同戶外場景數據集對比

該論文提出的UrbanScene3D數據集具有以下特點：

采集視角大：大多數戶外數據集是利用地面掃描設備采集的，不能夠完整地覆蓋整個場景。UrbanScene3D使用無人機根據不同的算法得到的路徑來采集場景信息，得到精度更高、更加完整的城市場景數據；

場景覆蓋范圍大：UrbanScene3D提供了16個不同的城市場景，總面積136平方公里。其中包括三個覆蓋面積超過24平方公里的大規模城市場景和兩個覆蓋面積超過一平方公里的完整真實場景；

不同模式的觀測數據：UrbanScene3D針對同一個場景提供在不同航拍路徑與不同時間、不同天氣條件、不同光照條件下采集到的數據，增加了觀測數據的多樣性；

融合虛擬數據與真實數據的仿真環境：UrbanScene3D提供的模擬器可以導入虛擬城市模型與真實世界的重建場景，不僅能夠用于無人機、無人車的仿真，還可以用于解決虛擬數據與真實數據之間的跨領域誤差問題；

針對無人機路徑規劃的數據集基準： UrbanScene3D針對不同無人機路徑規劃算法在不同的因素下對最終重建結果的影響進行了詳細的對比與測試，為新的無人機路徑規劃算法與重建算法提供了新的評估基準。

圖2 UrbanScene3D提供的模擬器能夠用于實時模擬、生成場景物體實例分割標簽與深度圖 III 無人機路徑規劃基準 UrbanScene3D主要針對傾斜攝影、Smith ［1］等人提出的算法、Zhou ［2］等人提出的算法與Zhang ［3］等人提出的算法進行測試。這四種算法生成的無人機路徑如圖3所示：

圖3 不同算法在兩個場景上生成的路徑示意圖

當前的無人機路徑規劃算法主要依賴于預先得到的場景粗糙模型，即代理模型，來進行無人機路徑的優化。同樣的路徑規劃算法利用精細的代理模型通?？梢缘玫礁玫闹亟ńY果。UrbanScene3D對虛擬場景提供了從粗糙到精細四個層級的代理模型，對真實場景提供了三個層級的代理模型，如圖4所示。UrbanScene3D分別使用不同層級的代理模型在不同的采樣點重疊率下對以上四種無人機路徑規劃算法進行對比評估。

圖4 不同層級的代理模型示意圖 為了對重建得到的真實場景模型進行重建精度與完整度評估，UrbanScene3D利用搭載GPS定位設備的高端激光雷達掃描儀對場景中的整棟建筑進行掃描，得到高精度的場景掃描點云，如圖5所示：

圖5 兩個真實場景的高精度激光點云與對應重建模型的誤差示意圖

由于傾斜攝影具有最簡單的路徑模式，因此電量消耗最小，但重建結果最差。Zhang 等人的方法在規劃路徑的同時對生成路徑的質量進行優化，因此能夠在得到高精度模型的同時減小電量的消耗。Smith 等人與Zhou等人提出的算法都能夠得到更好的重建結果，但Zhou等人提出的算法的飛行消耗更低。

圖6 不同方法的采集電量消耗對比

圖7 不同方法的采集重建精度對比

UrbanScene3D的下載與使用

UrbanScene3D一共包含1.43TB數據（壓縮包形式），其中帶有虛擬場景和真實場景模擬器63GB，帶有真實場景掃描數據的重建結果評估程序190MB。我們在項目主頁 https://vcc.tech/UrbanScene3D/ 中提供UrbanScene3D相關數據的分類下載與相關的使用說明，支持Google Drive、Dropbox與百度云網盤三種下載方式。用戶可以根據需求按照不同的場景、不同的算法、不同的代理模型、不同的采樣重疊率下載航拍路徑、圖片與重建結果，也可以選擇將整個數據集打包下載。從仿真環境到評估程序的整套工具能夠有效地幫助相關研究工作的開展和推進。

總結

這篇文章詳細介紹了一個大型數據集平臺UrbanScene3D，為廣大用戶提供了豐富的數據標簽和六個代表性場景在不同觀察模式下采集得到的不同數據。相應的不同重建模型和GT模型/掃描點云可用于評估路徑規劃算法和MVS算法。此外，UrbanScene3D中包含的模擬器允許用戶進一步探索和采集具有不同照明模式/天氣條件（如圖9所示）的城市場景數據。作者還計劃在不久的將來為數據集加入更高級的幾何描述信息，例如不同建筑的三維結構點、橫截面輪廓、線框或面片等，以支持計算機圖形學和計算機視覺相關方向的進一步探究。

審核編輯：郭婷