眾多常見的有效圖像預處理方法

一個經歷了 39 場 Kaggle 比賽的團隊在 reddit 上發帖表示，他們整理了一份結構化的圖像分割技巧列表，涵蓋數據增強、建模、損失函數、訓練技巧等多個方面，不失為一份可以參考的圖像分割技巧資料。

圖像分割是圖像處理和計算機視覺的熱點之一，是根據圖像內容對指定區域進行標記的計算機視覺任務。它基于某些標準將輸入圖像劃分為多個相同的類別，簡言之就是「這張圖片里有什么，其在圖片中的位置是什么？」以便提取人們感興趣的區域。圖像分割是圖像分析和圖像特征提取及識別的基礎。

圖像分割也是 Kaggle 中的一類常見賽題，比如衛星圖像分割與識別、氣胸疾病圖像分割等。除了密切的團隊配合、給力的 GPU 配置等條件，技巧在這類比賽中也發揮了很大的作用。但這些技巧去哪里找呢？Medium、大牛博客、參賽經驗帖中都散落著各種技巧分享，但這些資源往往比較零散，于是就有人想到，為什么不把它們集中到一起呢？ Derrick Mwiti 就帶頭做了這么一件事，他和他所在的團隊將過去 39 場 Kaggle 比賽中討論過的圖像分割技巧、資料都匯總到了一起，希望可以幫到在圖像分割任務中遇到困難的同學。 這份列表分為十大板塊，包括外部數據、預處理、數據增強、建模、硬件配置、損失函數、訓練技巧、評估和交叉驗證、集成方法以及后處理。

每個版塊的具體內容以條目的形式呈現，每個條目又都嵌入了一些鏈接，點開可以看到一些優秀的 Kaggle 解決方案分享、Medium 博客教程、高贊的 GitHub 項目等，讀者可以根據自己的具體問題和需要進行查找。 本文選取了其中一部分內容進行介紹，具體細節及鏈接請參見原文。 接下來，我們來看每個步驟都有哪些技巧吧。 預處理 這一部分包含眾多常見的有效圖像預處理方法，例如：

使用高斯差分方法進行斑點檢測；

使用基于圖像塊的輸入進行訓練，以減少訓練時間；

加載數據時，用 cudf 替換 Pandas；

確保所有圖像保持相同的方向；

使用 OpenCV 對所有常規圖像進行預處理；

采用自主學習并手動添加注釋；

將所有圖像調整成相同的分辨率，以便將相同的模型用于不同厚度的掃描等。

數據增強 數據增強能夠使網絡具有更復雜的表征能力，從而減小網絡性能在驗證集和訓練集以及最終測試集上的差距，讓網絡更好地學習遷移數據集上的數據分布。這部分介紹了一些常用的數據增強方法：

用 albumentations 包進行數據增強；

使用 90 度隨機旋轉；

使用水平、垂直翻轉或這兩個方向都做翻轉；

嘗試進行復雜的幾何變換，包括彈性變換、透視變換、分段仿射變換、枕形失真；

應用隨機 HSV；

使用損失較小的增強數據進行泛化，以防止有用圖像信息丟失；

應用通道 shuffle；

根據類別頻率進行數據擴充；

應用高斯噪聲等。

建模網絡架構 這一部分介紹了一些可用在圖像分割上的常用網絡框架，例如：

使用基于 U-net 的架構；

用 inception-ResNet v2 架構得到具備不同感受野的訓練特征；

經過對抗訓練的 Siamese 網絡；

以密集（FC）層作為最后一層的 ResNet50、Xception、Inception ResNet v2 x 5；

使用全局最大池化層，無論輸入尺寸如何，該層都將返回固定長度的輸出；

使用堆疊的膨脹卷積；

VoxelNet；

用 concat 和 conv1x1 替換 LinkNet 跳躍連接中的加號；

廣義平均池化；

用 3D 卷積網絡在圖像上滑動；

使用在 Imagenet 數據集上預訓練的 ResNet152 作為特征提取器等。

以及下列經典網絡框架：

損失函數 損失函數常用來估計模型預測結果與真值之間的差距。選擇合適的損失函數，對模型效果很重要。 這部分介紹了一系列損失函數和使用場景，例如：

dice 系數：能夠很好地處理不平衡數據；

加權邊界損失：減少預測分割與真值之間的距離；

MultiLabelSoftMarginLoss：基于最大熵優化多標簽一對多損失的標準；

具備 logit 損失的平衡交叉熵（Balanced cross entropy，BCE）：以特定系數權衡正例和負例；

……

此外，作者還介紹了 Arc margin 損失、BCE 和 dice 系數的組合等等，更多詳情參見原文。

訓練技巧 這部分介紹了常用的模型訓練技巧，如：

嘗試不同的學習率；

嘗試不同批大??；

使用帶有動量項的 SDG，并且手動設置學習率衰減；

數據增強過多會降低準確率；

使用裁剪后的圖像訓練，并在完整的圖像上做預測；

在學習速率調整上使用 Keras 中的 ReduceLROnPlateau() 方法；

凍結除了最后一層以外所有的網絡層，并使用 Stage1 中的 1000 張圖片進行模型微調；

開發一個能使標簽更加均勻的采樣器；

使用類別感知采樣（class aware sampling）等。

評估和交叉驗證 這部分介紹了 k 折交叉驗證、對抗驗證和權衡等方法，以及在調整模型最后一層時使用交叉驗證方法以有效避免過擬合。

集成方法 許多機器學習競賽（包括 Kaggle）中最優秀的解決方案所采用的集成方法都建立在一個這樣的假設上：將多個模型組合在一起通?？梢援a生更強大的模型。 這部分介紹了多種集成方法，如多數投票法、XGBoost、LightGBM、CatBoost 等方法，以及集成 ResNet50、InceptionV3 和 InceptionResNetV2 的方法。

后處理 這部分介紹了多種后處理方法：

測試時增強（Test Time Augmentation，TTA）：向模型多次展示經過不同隨機變換的圖像，取預測平均值；

均衡使用測試預測概率，而不是僅使用預測類；

將幾何平均數應用于預測；

在推理過程中將圖塊重疊，使每個邊緣像素至少覆蓋 3 次，因為 UNET 在邊緣區域范圍的預測往往較差；

非極大抑制和邊界框收縮；

分水嶺后處理：在實例分割問題中分離對象。

最后需要注意的是，這份列表給出的某些技巧可能有一定的適用范圍，具體能不能用還要視數據而定。

原文標題：圖像分割的實用技巧

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。

責任編輯:haq