視覺Transformer基本原理及目標檢測應用

Transformer是一類基于自注意力機制的深度神經網絡，最初用于處理自然語言理解任務。相較于卷積網絡和循環網絡等傳統深度神經網絡，Transformer的表示學習能力更加強大，并已經被應用到視覺任務中。當前，基于Transformer的視覺表征學習網絡已經在圖像分類、視頻理解等低高級視覺任務中已經取得了優異表現。本文將對視覺Transformer基本原理和用于執行目標檢測任務的Transformer結構進行簡要介紹，可供研究者參考。

圖1丨Transformer發展歷程

●?視覺Transformer基本結構

圖2丨視覺Transformer結構

視覺Transformer的一般結構如圖2所示，包括編碼器和解碼器兩部分，其中編碼器每一層包括一個多頭自注意力模塊（self-attention）和一個位置前饋神經網絡(FFN)，而解碼器每一層包括三部分：多頭自注意力模塊、編碼解碼自注意力模塊和位置前饋神經網絡。 ?

●?Transformer在目標檢測任務中的應用?

Transformer已經被廣泛用于處理目標檢測問題，按照網絡結構可以分為基于多尺度融合（neck-based）、基于頭（head-based）和基于框架（framework-based）三大類。 1）?基于多尺度融合

圖3丨FPT網絡結構

受特征金字塔網絡等基于卷積網絡的多尺度特征融合網絡在目標檢測任務中取得的良好性能啟發，研究者提出了特征金字塔Transformer（FPT）來充分利用跨空間和尺度的特征相互作用，解決卷積網絡無法學習交互跨尺度特征的問題。FPT網絡結構如圖3所示，由三種不同類型的Transformer構成，稱之為Self-Transformer，Grounding-Transformer和Rendering-Transformer，分別用于對特征金字塔的Self-level、top-down和bottom-up路徑的信息進行編碼，利用Transformer中的自注意力模塊來增強特征金字塔的特征融合。 2）?基于頭

圖4丨橋接視覺表示

對于物體檢測算法而言，預測頭的設計至關重要。傳統檢測方法一般利用邊界框、角點等單個視覺表示來預測最終結果。研究者將Transformer結構引入物體檢測問題中，提出了橋接視覺表示（Bridging Visual Representations，BVR），通過多頭關注模塊將不同的異構表示組合成一個單一的表示。具體來說，將主表示作為query輸入，將輔助表示作為key輸入。通過類似于Transformer中的注意模塊，可以獲得用于主表示的增強功能，該功能將來自輔助表示的信息橋接起來并有利于最終檢測性能。 3）?基于框架

圖5丨DETR網絡結構

區別于前兩類方法使用Transformer結構增強傳統檢測算法中特定模塊的性能，DETR網絡將目標檢測任務視為集合預測問題，采用端到端的Transformer結構構建目標檢測器，如圖5所示。DETR從CNN主干開始以從輸入圖像中提取特征。為了用位置信息補充圖像特征，將固定的位置編碼添加到平坦的十個特征中，然后再輸入編碼解碼器轉換器。與原始Transformer順序生成預測的原始Transformer不同，DETR同時解碼多個對象。DETR作為針對目標檢測任務提出的全新Transformer結構設計，為后續研究提供了重要啟發，但存在訓練時間長、難以準確檢測小目標等問題。

圖6丨Deformable DETR網絡

針對DETR存在的問題，Deformable DETR使用圖6所示的可變形注意模塊來關注參考點周圍的一小組關鍵位置，顯著降低了原多頭注意力的計算復雜度，也有利于快速收斂?？勺冃巫⒁饽K可輕松完成多尺度特征融合操作，使得Deformable DETR相較于原始DETR訓練成本降低10倍，推理速度提升1.6倍。

圖7丨可變形注意模塊

● 總結

與卷積網絡相比，Transformer在抽取時空表征關系上具有巨大優勢，已經成為計算機視覺研究領域的熱門話題，并已經在多種視覺任務中取得優良表現。但是，當前視覺Transformer研究仍主要關注單一任務，而在自然語言處理領域Transformer已經表現出在統一模型里執行多個任務的能力，多任務視覺Transformer模型有待進一步研究。此外，當前模型普遍復雜，模型訓練和存儲成本較高，開發適合部署在資源受限設備上的視覺Transformer模型將是未來研究重點之一。

審核編輯：黃飛

?