助力移動機器人下游任務！Mobile-Seed用于聯合語義分割和邊界檢測

摘要

精確、快速地劃定清晰的邊界和魯棒的語義對于許多下游機器人任務至關重要，例如機器人抓取和操作、實時語義建圖以及在邊緣計算單元上執行的在線傳感器校準。雖然邊界檢測和語義分割是相輔相成的任務，但大多數研究都集中在語義分割的輕量級模型上，而忽略了邊界檢測的關鍵作用。在這項工作中，我們引入了一個輕量級的雙任務框架Mobile - Seed，用于同時進行語義分割和邊界檢測。我們的框架具有雙流編碼器，主動融合解碼器( AFD )和雙任務正則化方法。編碼器分為兩個通道：一個通道捕獲類別感知的語義信息，另一個通道從多尺度特征中辨別邊界。AFD模塊通過學習通道間的關系來動態適應語義和邊界信息的融合，允許對每個通道進行精確的權重分配。此外，我們引入正則化損失來緩解雙任務學習和深度多樣性監督中的沖突。與現有方法相比，提出的Mobile - Seed提供了一個輕量級的框架，可以同時提高語義分割性能和精確定位對象邊界。在Cityscapes數據集上的實驗表明，在1024 × 2048分辨率輸入下，Mobile - Seed在mIoU和mF - score上分別比SOTA基線提升了2.2個百分點( pp )和4.2個百分點( pp )，同時在RTX 2080 Ti GPU上保持了23.9幀每秒( FPS )的在線推理速度。在CamVid和PASCAL Context數據集上的額外實驗證實了我們方法的可推廣性。

效果展示

Mobile - Seed算法能夠實時地同時推理出2D RGB圖像的邊界圖和語義圖。( a )展示了我們的Mobile - Seed的動機，它可以為下游任務提供強有力的約束，例如實例分割，語義SLAM和傳感器校準。( b )和( c )表明Mobile - Seed的核心思想是將語義分割流和邊界檢測流集成在一個共享的框架中，并以相互促進的方式進行學習，同時保持實時效率。

主要貢獻

（1）提出了一個輕量級的移動機器人聯合語義分割和邊界檢測框架，該框架可以同時學習邊界掩碼和語義掩碼。

（2)提出了AFD用于學習語義特征和邊界特征之間的通道關系。與固定權重方法(融合權重與輸入無關)相比，AFD在為語義特征和邊界特征分配合適的權重方面更加靈活。

（3）引入雙任務正則化損失來有效緩解DDS產生的沖突，使得語義分割和邊界檢測任務互相促進。

具體原理是什么？

Mobile - Seed的工作流，其中語義流S和邊界流B分別提取語義和邊界特征。AFD估計每個通道的語義特征Fs和邊界特征Fb的相對權重。在語義流中應用一個輔助分類頭，用于訓練過程中的直接監督。分別對語義預測s、融合語義預測sf和邊界預測b進行監督，并依此進行監督。正則化損失Lreg減輕了由雙任務學習引起的分歧。

和其他SOTA方法的對比

語義分割的定性結果對比。

邊緣檢測的定性結果對比。

總結

這篇文章提出了一種新穎的輕量級框架Mobile - Seed用于聯合語義分割和邊界檢測。該方法由雙流編碼器和主動融合解碼器( AFD )組成，其中編碼器分別提取語義和邊界特征，AFD為兩種特征分配動態融合權重。此外，引入正則化損失來緩解雙任務學習中的發散問題。Mobile - Seed可以部署在輕量級機器人平臺上，服務于語義SLAM、機器人操作等下游任務。

審核編輯：劉清