通過對比學習的角度來解決細粒度分類的特征質量問題

一、本文貢獻

1.網絡通過提取顯著性區域并融合這些區域特征，以同時學習局部和全局的特征2.通過混雜來自負例的注意力特征來增強網絡對于每個注意力區域的學習3.網絡得到了 SOTA 的結果

二、動機

細粒度分類任務與常規的分類問題不同，它希望分類器能夠看到不同類別之間的細微差異。當前流行的細粒度方法通常從兩個方面設計以洞察到更加細微的特征：“更有區分度的表征學習”與“定位特征顯著的部分”。然而，學習更有區分度的圖像表征本身就是有挑戰的，同時僅僅通過沒有監督的分類信息也很難保證學習有顯著區別的部分的準確位置。

與現有方法不同，在本文中，作者主張從對比學習的角度解決上述的困境，并提出一種新穎的注意力對比學習網絡（ACLN）。該網絡旨在吸引來自同一類別的正對的表示，并排斥來自不同類別的負對的表示。為了實現這個目標，提出了一個配備兩個對比損失的對比學習模塊。具體來說，注意力生成器生成的關注區域分別與原始CNN特征作為正對，而不同圖像相應的不同注意力區域成負對。此外，最終的分類結果是通過一個協同學習模塊同時利用原始特征和注意力圖獲得的。該方法在四個基準數據集上進行了綜合實驗，我們的 ACLN 在這些數據集上優于所有現有的 SOTA 方法。作者已經將代碼開源： https://github.com/mpskex/AttentiveContrastiveLearningNetwork

三、方法

該方法主要分為了三個部分：

1.注意力生成器：用于生成需要關注的區域2.對比學習模塊：用于區分學習不同類別不同區域的特征3.注意力特征記憶：用于為對比學習進行采樣

該方法的總體框架可以參考下圖：

1.注意力生成器

其中 ? 代表元素之間相乘，? 代表矩陣乘法。α 和 β 可學習參數，用于平衡 兩種交互的比例。同時，為了讓注意力之間能夠相互分開，作者設計了簡單的對比損失函數來約束不同通道之間注意力生成的區別。

2.對比學習模塊

作者為了達成更高的準確率，設計了注意力對比學習模塊以強化分類器對于局部特征的敏感性。作者把融合特征當作正例的同時，將一些受到干擾的融合特征作為難負例。更確切地說，作者把在原有特征中雜糅一些顯著的且屬于其他類別的特征當作負例，認為這些特征受到了來自其他類別樣本特征的干擾。舉例來講，例如一張圖片 i 應該被分類為 A，這個分類結果是由 n 個關注區域共同判定得出的。如果從另一張屬于 B 類的圖像 j 中摘取一個關注區域的特征融合到 i 圖像的 （n-1） 個關注區域的特征中，那么網絡不應該把這個收到干擾的融合特征判別為類別 A。這樣做有兩個好處：

1.對于用來作為干擾的特征來說，這些特征需要包含足夠顯著且飽含信息的特征來干擾分類器判定為 A 的分類。

2.對于分類器而言，分類器需要更靈敏地識別這樣的離群點。這實際上也鼓勵了分類器在訓練中讓這些來自不同類別的關注區域特征分布在類別上更加松散。

在學習的過程中，作者設計了一個簡單的二分類判別器來區分融合特征中是否包含離群特征。首先，方法會將來自不同關注區域的特征拆散。之后，這些拆散的關注區域特征會根據類別信息隨機融合到異類中。最終這些特征會被送入判別器輸出最終的分類分數。判別器的目標是區分含有干擾和不含干擾的特征，從而使得學習到的特征在每個部分都能包含具有明顯語義的特征。

為了增加負樣本的多樣性，作者還設計了一個類似 Memory Bank 的機制來積累來自不同類別的特征。這些特征可以幫助網絡尋找更多更隨機的融合方式，使得難樣本構建的邊界更加光滑。

如上圖所示，通過如此設計的對比學習機制，就能夠尋找一個在特征空間更加緊致的分布。因為在實際數據集當中，數據在空間的分布可能都比較離散。如果在這樣的訓練數據中訓練，可能會遺漏很多本應該關注的信息，從而導致網絡不能獲得足夠的泛化性能。其現象就是網絡明明在訓練集中效果非常好，但是卻總是不能在測試集合上獲得更好的性能。

同時，在類別之間構建負樣本能夠鼓勵特征分布在類別上能夠更加顯著。舉例來說，在左圖中如果同時拉開實線箭頭的距離，會比以同等速率來開虛線箭頭獲得的類別間距離更大。這樣我們也就通過構建難樣本獲得了更大的類別間距離，使不同類別的特征更好被區分。

作者在使用對比學習機制之后，構建了很多特征層面的難樣本。這些難樣本能夠讓分類器更加魯棒，一定程度上改善了模型的泛化性。

Result

模型在 Flowers-102 / CUB-200-2011 / Oxford Pets 數據集上都獲得了更好的成績。作者分別使用 ResNet-101 和 DenseNet 161 在公開測試集上評價，均高于當前的 SOTA 方法。

同時作者還設計了消融實驗，在使用注意力生成器、對比學習以及本文提出的關注區域特征融合方法的不同條件下，評價了網絡的性能。

來源：墨奇科技