工業產品表面缺陷檢測方法研究

摘要：

制造業的全面智能化發展對工業產品的質量檢測提出了新的要求。本文總結了機器學習方法在表面缺陷檢測中的研究現狀，表面缺陷檢測是工業產品質量檢測的關鍵部分。首先，根據表面特征的用途，從紋理特征、顏色特征、形狀特征三個方面總結了傳統機器視覺表面缺陷檢測方法在工業產品表面缺陷檢測中的應用。其次，從監督法、無監督法、弱監督法三個方面論述了近年來基于深度學習技術的工業產品表面缺陷檢測的研究現狀。然后，系統總結了工業表面缺陷檢測中常見的關鍵問題及其解決方法；關鍵問題包括實時問題、小樣本問題、小目標問題、不平衡樣本問題。最后對近年來常用的工業表面缺陷數據集進行比較全面的總結，并比較了MVTec AD數據集的最新研究方法，為工業表面缺陷檢測技術的進一步研究和發展提供一定的參考。

1. 簡介

在工業生產過程中，由于現有技術、工作條件等因素的不足和局限性，極易影響制成品的質量。其中，表面缺陷是產品質量受到影響的最直觀表現。因此，為了保證合格率和可靠的質量，必須進行產品表面缺陷檢測?！叭毕荨币话憧梢岳斫鉃榕c正常樣品相比的缺失、缺陷或面積。工業產品正常樣品與缺陷樣品對比如圖1所示。表面缺陷檢測是指檢測樣品表面的劃痕、缺陷、異物遮擋、顏色污染、孔洞等缺陷，從而獲得被測樣品表面缺陷的類別、輪廓、位置、大小等一系列相關信息。人工缺陷檢測曾經是主流方法，但這種方法效率低下；檢測結果容易受人為主觀因素的影響，不能滿足實時檢測的要求。它已逐漸被其他方法所取代。

目前，已有學者開展了表面缺陷檢測的相關研究，涉及最新的方法、應用、關鍵問題等諸多方面，文獻[5]總結了磁粉探傷、滲透探傷、渦流檢測、超聲波檢測、機器視覺和深度學習 [6,7]；比較分析上述方法的優缺點；梳理了電子元器件、管道、焊接件、機械零件中的缺陷檢測技術，以及在質量控制中的典型應用。從監督學習模型法、無監督學習模型法[8]和其他方法[9]（半監督學習模型法和弱監督學習模型法），文獻[10]分析了基于深度學習的表面缺陷檢測方法，以及然后，討論了表面缺陷檢測中實時性、小樣本以及與傳統的基于圖像處理的缺陷檢測方法的比較三個關鍵問題。在回顧了自動光學（視覺）檢測（AOI）技術后，文獻[11]系統地描述了該技術用于表面缺陷檢測的幾個步驟和相關方法。文獻[12]首先列舉了缺陷領域的不同對象；介紹和比較了用于缺陷檢測的主流技術和深度學習方法。然后分析了超聲波檢測和深度學習方法在缺陷檢測中的應用。最后，對現有應用進行了調查，并基于缺陷檢測設備，提出了三維目標檢測、高精度、高定位、快速檢測、小目標等缺陷檢測面臨的幾個挑戰。通過調查可以發現：在工業產品表面缺陷檢測領域，目前關于機器學習方法的文獻綜述很少，一些文獻雖然總結了工業產品表面缺陷檢測中存在的問題和挑戰，但其解決方案和方向還不夠系統。此外，在數據集方面，目前還沒有對工業產品表面缺陷檢測數據集進行全面整理。因此，為了解決上述問題，本文首先從傳統的機器視覺方法和深度學習方法總結了工業產品表面缺陷檢測的研究現狀，然后，工業產品表面缺陷檢測過程中的關鍵問題，真實討論了時間問題、小樣本問題、小目標問題、不平衡樣本問題，并給出了每個問題的一些解決方案。最后，總結了全面的工業表面缺陷檢測數據集，并比較了幾種使用 MVTec AD 數據集的新方法。

本綜述參考文獻的發表時間主要集中在2016年以后，因為這些文獻可以代表最新技術的發展。通過參考相關評論，確定本文的組織順序為傳統方法、最新方法、關鍵問題和工具（數據集），這也是本文的研究范圍。本文的主要內容如下：第二部分，基于傳統基于特征的機器視覺算法的工業產品表面缺陷檢測方法總結；第三節，基于深度學習的工業產品表面缺陷檢測方法總結；第四節，關鍵問題及其解決方案分析討論；第五節，工業產品表面缺陷檢測數據集的整理和總結以及MVTec AD數據集最新方法的比較。

2. 用于表面缺陷檢測的傳統基于特征的機器視覺算法

傳統的表面缺陷檢測方法在一段時間內發揮了巨大的作用。本章從特征提取層面對傳統的基于機器視覺的工業產品表面缺陷檢測方法進行分類。根據特征的不同，主要分為三類：基于紋理特征的方法、基于顏色特征的方法、基于形狀特征的方法。具體的進一步章節安排如圖2所示。

2.1. 基于紋理特征的方法

紋理特征反映了圖像中的同質化現象，可以通過像素及其附近空間鄰域的灰度分布來反映圖像表面的組織結構和排列特性?；诩y理特征的方法可以進一步分為四類：統計方法、信號處理方法、結構方法、模型方法[14,15]。

對于統計方法，主要思想是將物體表面的灰度值分布視為隨機分布，從角度分析隨機變量的分布 通過直方圖特征、灰度共生矩陣、局部二值模式、自相關函數、數學形態等特征描述灰度值的空間分布。

對于信號處理方法，主要思想是將圖像作為二維信號處理，從信號濾波器設計的角度對圖像進行分析，因此也稱為頻譜法；信號處理方法包括傅里葉變換法、Gabor濾波器法、小波變換法等具體方法。

對于結構方法，其理論基礎是紋理原語理論。紋理原語理論指出，紋理是由一些按照一定規則在空間中重復出現的最小圖案（稱為紋理原語）組成的。

對于模型方法，工業產品表面缺陷檢測常用的模型有MRF模型和分形模型。

對于基于紋理特征的方法，本文總結了近期在工業產品表面缺陷檢測中的一些應用實例，按圖2中的分類順序排列，具體如表1所示。

2.2.基于顏色特征的方法

顏色特征計算量小，對圖像本身的大小、方向、視角等因素的依賴性小，魯棒性高。它是圖像檢索中廣泛使用的視覺特征之一。

2.2.1.顏色直方圖

顏色直方圖描述了整個圖像中不同顏色的比例，是全局統計的結果；它不注意空間位置顏色，不能描述圖像中的物體。

特點：對物理變換（旋轉、縮放等）不敏感；如果圖像有多個區域，且前景和背景之間的顏色分布有明顯差異，則顏色直方圖會出現雙峰。

文獻[27]提出了一種基于顏色直方圖的相似度評價方法，用于電阻斷層掃描（ERT）圖像評價。對于木材表面的缺陷檢測，文獻[28]提出了一種基于圖像塊百分比顏色直方圖特征和特征向量紋理特征的分類方法；該方法已被實驗證明是有效的，特別是對于結型缺陷。文獻[29]設計了刨花板缺陷檢測的2步工藝流程，利用SVM和顏色直方圖特征完成缺陷檢測，利用平滑和閾值技術完成缺陷定位。

2.2.2.色彩時刻

顏色矩的主要思想是圖像中的任何顏色分布都可以用其每個階的矩來表示。由于顏色分布的信息主要集中在低階矩，通常只有顏色的一階矩（均值）、二階矩（方差）和三階矩（偏移）就足以表示圖像表面的顏色分布。

特點：不考慮像素空間位置；無需矢量化顏色特征；無需進行顏色量化、平滑等后續處理。

文獻[30]提出了一種根據影響大小對色矩特征和FSIFT特征進行加權融合的方法，解決了單個特征不能明顯表達瓷磚表面缺陷內容的問題。文獻[31]利用余弦相似度檢驗磁光圖像的周期規律，證明了色矩特征概括規律的正確性，從而選擇合適的磁光圖像進行焊接缺陷檢測和定位。

2.2.3.顏色相干矢量

顏色相干向量是顏色直方圖的改進算法；其主要思想是將直方圖中的每個顏色簇分為聚合和非聚合兩部分；在圖像相似度比較過程中，分別比較相似度，綜合權衡后得到相似值，從而得到結果。

文獻[32]將LBP特征與顏色聚合向量特征加權融合相結合，并結合基于RBF的SVM，提出了一種圖像分類方法可以提高分類精度和計算速度的方法。文獻[33]將提取的顏色聚合向量和紋理特征以特征的形式存儲用于后續網絡訓練的向量。

2.2.4.其他顏色特征

除了顏色直方圖、顏色矩和顏色聚合向量外，工業產品表面缺陷檢測常用的顏色特征包括顏色集和顏色相關圖。其中，顏色集也是一種全局顏色特征和匹配方法；它是顏色直方圖的近似，表示為二值特征向量；通過構造二叉搜索樹，可以加快檢索速度。顏色相關圖描述了整個圖像中某種顏色的像素數所占的比例（概率），可以反映不同顏色對之間的空間相關性；通常，它需要較高的硬件條件。

2.3.基于形狀特征的方法

基于形狀的方法有效地利用圖像中感興趣的目標進行檢索。其中，基于輪廓的方法是主要的方法類型?；谳喞姆椒ㄍㄟ^描述對象的外邊界特征來獲得圖像的形狀參數；代表性的方法是霍夫變換和傅立葉形狀描述符。

霍夫變換利用圖像的全局特征連接邊緣像素形成區域的封閉邊界，其理論基礎是點對線的對偶性。文獻[34]提出了一種檢測瓶子表面缺陷的方法；在ROI提取階段，采用快速霍夫變換檢測光源的邊界線。文獻[35]利用Gabor濾波器和Hough變換實現了E-TPU中間表面線狀缺陷（如壓痕、凹凸）的檢測。文獻[36]基于圓霍夫變換、極坐標變換、加權Sobel濾波器和SVM實現了小型相機鏡頭的表面缺陷檢測。

傅里葉形狀描述符使用物體邊界的傅里葉變換作為形狀描述，利用區域邊界的閉合性和周期性，將二維問題轉化為一維問題。文獻[37]提出了一種基于全局傅里葉圖像重建和模板匹配的非周期圖像小缺陷檢測和定位方法。文獻[38]提出了一種磁體表面切割缺陷的檢測方法；該方法采用傅里葉變換和霍夫變換對磁體表面圖像進行重構，通過比較重構圖像與原始圖像的灰度差異，得到缺陷信息。

除上述三類特征外，其他一些特征，如空間關系特征，也可用于工業產品的表面缺陷檢測。由于工業產品的表面大多包含多種信息，通常僅使用單一特征或單一類別特征是不夠的。因此，在實際應用中，往往會結合使用多個特征和多類特征。

3. 基于深度學習的工業產品表面缺陷檢測方法

深度學習的快速發展使其在缺陷檢測領域得到越來越廣泛的應用。本章基于深度學習的常見分類：監督方法、無監督方法、弱監督方法，簡要介紹了工業產品表面缺陷檢測的研究現狀。具體的缺陷檢測方法如圖3所示。

3.1.監督方法

監督方法要求訓練集和測試集缺一不可，訓練集中的樣本必須被標記[39]，其中訓練集用于尋找樣本的內在規律，然后將規律應用到測試集。監督方法可以分為基于度量學習的監督方法和基于表示學習的監督方法。在上述有監督的表面缺陷檢測方法中，基于度量學習的常見模型包括Siamese Network；根據缺陷檢測的三個階段，基于表征學習的方法大致可以分為三類：分類網絡、檢測網絡和分割網絡。其中，常用的分類網絡是ShuffleNet；通常用作檢測網絡的是 Faster RCNN；常用的分割網絡有：FCN、Mask RCNN等，本節以上述網絡模型為例，簡要介紹其在表面缺陷檢測任務中的研究現狀。在缺陷檢測的任務中，分類網絡的重點是解決“缺陷是什么”問題，即確定圖像的類型（圖像是否包含缺陷，缺陷的類型是什么）；檢測網絡的重點是解決“缺陷在哪里”的問題，即獲取具體的位置信息和通過確定缺陷的位置來確定缺陷的類別信息；分割網絡的焦點是為了解決“有多少缺陷”的問題，即分割從背景中修正缺陷區域，獲取位置、類別、屬性和缺陷的其他信息。

3.1.1. Siamese Network

Siamese網絡可以用來判斷兩個樣本之間的相似度；其損失函數的核心思想是使相似類別的輸入距離盡可能小，不同類別的輸入距離盡可能大[40]。

文獻[41]提出了一種兩階段多尺度特征相似度測量模型。在使用 Siamese 網絡作為主干架構完成成對圖像的特征提取后，將空間金字塔池化網絡納入每個卷積模塊的特征圖中以融合多尺度特征向量，然后進行判別特征嵌入和通過在訓練過程中使用對比損失獲得相似度度量。測試在PCB數據集上進行了短路、開路、鼠咬、毛刺、漏電、覆銅6類缺陷，所有類型的ROC曲線下面積均在0.92以上。文獻 [42] 提出了一種用于跨類別缺陷檢測的兩層神經網絡（SSIM 層：生成模擬 SSIM 組件的功能；SNN 層：由連接到 SSIM 層的連體網絡組成），無需重新訓練。該方法從包含一些結構相似性的圖像對中學習差異特征，并假設不同的分類對象可以共享由這些學習圖像對的差異引起的一些結構相似性。在實際工廠數據集中的實驗表明：該方法具有跨類缺陷檢測的能力。

3.1.2. ShuffleNet

ShuffleNet 是一種計算效率高的輕量級網絡，它采用了逐點組卷積和通道 shuffle 兩種新方法來保證計算精度并有效降低計算成本。

基于Shuffle Net V2框架，文獻[43]提出了一種新穎的塑料容器復雜背景代碼在線檢測解決方案，該算法還可以處理復雜背景下的圖像，并應用于實際的工業檢測系統。文獻[44]提出了一種基于深度學習的Shuffle DefectNet缺陷檢測系統，在NEU數據集上達到了99.75%的平均準確率

3.1.3. Faster RCNN

Faster RCNN是在Fast RCNN的基礎上引入了區域提議網絡（RPN），將生成區域推薦的步驟放入神經網絡中，在端到端的學習模式下實現了幾乎無成本的區域推薦算法，極大地提高了 提高了目標檢測的速度，還提到了滑動窗口方法。

文獻[45]提出了一種基于Faster R-CNN的級聯結構，將電力線絕緣子的缺陷檢測問題轉化為兩級目標檢測問題。其中，第一階段用于定位絕緣子區域；第二階段用于定位絕緣體區域?；贔aster R-CNN，文獻[46]提出了一種新的PCB表面缺陷檢測網絡，該網絡使用具有特征金字塔的ResNet50作為主干，同時使用GRAPN的殘差單元和ShuffleNetV2的殘差單元。

3.1.4.全卷積網絡

在 FCN 中，一種端到端的圖像分割方法，網絡中的所有層都是卷積層；網絡主要使用三種技術：卷積、上采樣和跳過層；可以通過讓網絡做像素級預測直接得到標簽圖。核心思想之一是反卷積層，增加了數據規模，從而可以輸出準確的結果。

文獻[47]提出了一種利用深度神經網絡結合Autoencoder和FCN來區分鍵盤漏光缺陷和灰塵的算法。在由1632張圖像組成的測試集中對所提出的方法進行測試，漏光缺陷的誤報率從6.27%降低到2.37%。文獻[48]設計了一套完整的絕緣子串自動識別和診斷系統，該系統結合了不同的基于深度學習的組件，分別包括一個絕緣子串分割組件和兩個絕緣子片缺失和損壞診斷組件。文獻[49]提出了一種太陽能電池電致發光（EL）圖像的缺陷分割方法；該方法使用FCN和U-net的特定架構，可以一步得到缺陷分割圖；與重復執行CNN滑動窗口的方法相比，該方法獲得了相似的結果。文獻[50]結合FCN和Faster RCNN，設計了基于FCN的隧道缺陷檢測深度學習模型；該模型可以準確快速地檢測管道的污漬、泄漏和堵塞等缺陷。

3.1.5. Mask RCNN

Mask RCNN 是 Faster-R-CNN 的一種擴展形式，它為兩階段框架網絡集成了目標檢測和實例分割功能：第一階段掃描圖像并生成建議（建議可能包含目標區域），第二階段分類 建議并生成邊界框和掩碼。

文獻[51]提出了Mask RCNN的改進模型——IPCNN。該模型首先使用深度殘差神經網絡對來自圖像金字塔的圖像進行處理以提取特征；提取的特征通過特征金字塔生成金字塔特征，然后由RPN處理生成缺陷邊界框并對其進行分類，然后使用FCN在缺陷邊界框中生成缺陷掩碼。文獻[52]設計了一個端到端的系統，可以定位太陽能電池板污染；該系統基于Mask FCNN（Fully Convolutional Mask RCNN），它由一個分類網絡ImageNet和一個自底向上對特征圖像進行上采樣的綜合網絡組成；通過上采樣消除了信息丟失的影響。

在工業產品表面缺陷檢測領域，由于精度高、適應性好，監督法是目前深度學習方法中最主流的方法，其應用范圍也越來越廣。但是，這種方法的缺點在實際應用中逐漸凸顯，即數據集的提前標注帶來的工作量巨大，尤其是在一些高精度場景下；同時，產業水平的不斷提升導致不良樣品不斷減少，這也對監管方式產生了一定的影響。

3.2. 無監督方法

針對有監督方法的缺點，一些研究人員開始研究無監督方法。當輸入的訓練數據只有數據信息本身，沒有標簽信息時，機器學習這些無標簽數據的模式，得到數據的一些內在特征和聯系并自動對數據進行分類 [53]。然后，當遇到新數據時，可以根據之前學習到的模型判斷新數據屬于哪個模型（這里的模型是指由原始數據組成的模型）。這個過程屬于無監督學習。

在無監督學習方法中，最常用的表面缺陷檢測方法主要包括基于重建的方法和基于嵌入相似性的方法。對于前者，神經網絡結構的訓練僅用于正常訓練圖像的重建，異常圖像由于不能很好地重建而容易被發現；異常分數通常用重建誤差表示。最常見的基于重建的方法是自動編碼器（AE）和生成對抗網絡（GAN）。對于后者，深度神經網絡用于提取描述整幅圖像的有意義的向量，異常分數通常由測試圖像的嵌入向量與訓練數據集中表示正態性的參考向量之間的距離表示。典型的算法主要有SPADE[54]、PaDIM[55]、PatchCore[56]等。除了這兩種類型之外，Deep Belief Network（DBN）和Self-Organizing Map（SOM）也可以用于表面缺陷檢測.

本節將首先以自編碼器（AE）、生成對抗網絡（GAN）、深度信念網絡（DBN）和自組織映射（SOM）四種網絡模型為例，簡要介紹它們在表面缺陷檢測任務中的研究現狀 . 第 5 節將介紹基于嵌入相似性方法的三種典型算法。

3.2.1. Autoencoder

編碼器和解碼器是自編碼器的兩個核心部分。其中，encoder對應網絡模型中的隱藏層，用于學習輸入信號的低維特征；解碼器對應模型中的輸出層，用于盡可能地再現輸入信號。因此，使編碼器能夠學習輸入信號良好的低維特征并重構輸入信號是自編碼器的最終目標。

文獻[57]將傳統圖像處理中的SSIM指標作為重建損失引入到基于AE的圖像重建中；對編織紋理數據集和納米纖維材料數據集進行了測試，與 L2 損失相比，兩者都獲得了顯著差異。為了解決AE對異常樣本重構能力強的缺點。文獻[58]將異常檢測轉化為補丁序列修復[59]問題；同時，為了彌補該類方法難以覆蓋較大異常區域的缺點，提出transformer network僅重構覆蓋的patch，并針對不同情況設計了局部和全局嵌入方法。文獻 [60] 設計了一種具有多尺度特征聚類的全卷積 AE（MS-FCAE），使用多個不同尺度的 FCAE 子網絡重建紋理圖像背景，然后從輸入圖像中減去紋理背景以獲得殘差圖像，最后合并它們得到缺陷圖像，其中每個 FCAE 子網絡使用全卷積神經網絡從輸入圖像中直接獲取原始特征圖像并進行特征聚類。文獻[61]提出了一種多尺度卷積去噪自編碼器（MSCDAE），它使用多模態策略來綜合多個金字塔層次的結果，并在LCD面板、瓷磚和紡織品上進行測試；實驗證明該方法具有較高的準確率和魯棒性。文獻[62]采用卷積自編碼器（CAE）檢測手機logo圖像，提取CAE生成的模板圖像與輸入圖像的差異，然后通過數學形態學處理，達到異常檢測的目的。文獻[63]提出了一種用于無監督特征學習的卷積自動編碼器（CAE）。每個 CAE 都使用傳統的在線梯度下降訓練，沒有額外的正則化項。在 MNIST 和 CIFAR10 上獲得了良好的結果。

3.2.2. 生成對抗網絡

生成對抗網絡由兩個參與者組成：生成器和鑒別器。生成器用于獲取樣本數據的分布，鑒別器用于估計樣本訓練數據的概率。該模型的最終目標是學習真實數據的內在規律，預測和估計真實數據的分布或密度，并根據學到的知識生成新的數據，即生成對抗網絡制造數據。

GAN判別器用于生成缺陷分布似然圖；然后，將編碼器引入標準DCGAN重構檢測到的圖像，從原始圖像中減去，得到突出潛在缺陷區域的殘差圖像；之后結合殘差圖和缺陷分布似然圖得到增強融合圖，最終在融合圖上通過閾值分割得到缺陷的準確位置。文獻[65]提出了一種基于GAN的帶鋼表面缺陷檢測的一類分類方法，其中生成器G采用編解碼器，輸入編碼得到的隱藏空間的特征（GAN生成器的倒數第二層輸出）引入支持向量機進行缺陷分類，該模型在邯鋼提供的圖像上取得了良好的測試效果。文獻[66]提出了一種基于GAN的檢測方法。在第一階段，使用生成網絡和基于統計的表示學習機制檢測新區域。在第二階段，在潛在空間中直接使用 Frechet 距離來區分缺陷和正常樣本。該方法在太陽能電池板數據集上達到了 93.75% 的準確率。文獻[67]設計了一個基于GAN的表面視覺檢測框架，它使用多尺度融合策略融合GAN判別器三個卷積層的響應，然后使用OTSU對融合特征響應圖進行分割以進一步分割缺陷位置。在木材和道路裂縫數據集上的實驗證明了該框架的有效性。為了檢測織物表面的各種缺陷，文獻[68]提出了一種基于GAN框架的模型。該模型首先使用多種紋理融合到特定位置，然后通過多級GAN不斷更新現有的織物缺陷數據集；因此，網絡模型不斷微調，以達到更好的檢測效果。

3.2.3. 深度信念網絡

深度信念網絡由多個RBM（受限玻爾茲曼機）組成，整個網絡的訓練是通過逐層單獨訓練RBM來完成的。

文獻[69]提出了一種基于DBN的太陽能電池缺陷檢測算法。該算法以重建圖像和訓練圖像作為監督數據，通過BP算法的微調網絡建立訓練樣本和非缺陷圖像之間良好的映射關系。文獻[70]提出了一種DS-DBN-SVM（差分搜索-深度信念網絡-支持向量機）模型來識別螺栓缺陷的類型。在該模型中，采用DS算法優化DBN網絡的權值和閾值；DS-DBN模型用于提取螺栓數據的特征，提取的特征作為SVM的輸入來識別螺栓缺陷類型。

3.2.4. Self‐Organizing Map

自組織圖模擬人腦不同區域神經網絡細胞的不同分工，通過搜索最優參考向量集對輸入模式集進行分類。

文獻 [71] 提出了一種使用 SOM 來區分正常木材和缺陷木材的檢測方法。第一階段檢測疑似缺陷區域，第二階段單獨檢查缺陷區域。在松木數據集上的測試得到了比較理想的結果。文獻[72]結合Otsu和SOM實現TSV缺陷的檢測和定位。

無監督方法有效地彌補了監督方法的不足，但由于其自身的特點仍然存在一些問題。由于只訓練了正例，無監督方法無法確定什么是正確的輸出，因此不能保證對每種類型的缺陷樣本（在訓練中沒有出現）都有良好的檢測效果。因此，無監督方法的準確率還有很大的提升空間，總的來說，無監督方法對紋理圖像有更好的檢測效果。

3.3. 弱監督方法

有的學者結合了有監督方法和無監督方法的特點；因此，產生了弱監督方法。與監督和非監督方法相比，弱監督方法可以在避免更高的標記成本的同時獲得更好的性能。目前，工業表面缺陷檢測中常用的弱監督方法有不完全監督法和不準確監督法。

3.3.1. 不完全監督方式

不完全監督意味著大部分訓練樣本沒有標記，只有少數樣本被標記，這部分標記樣本不足以訓練一個好的模型。在不完全監督方法中，半監督方法常用于工業產品的表面缺陷檢測。

半監督方法可以在沒有人工干預的情況下自動開發未標記的樣本數據，以提高學習效果。文獻[73]設計了一種基于殘差網絡結構的深度卷積神經網絡結構，將兩層殘差構建模塊堆疊在一起形成一個43層的卷積神經網絡，同時為了達到網絡深度之間的平衡和網絡寬度，提高精度，適當增加網絡寬度。該網絡結構在 DAGM、NEU 鋼數據集和覆銅板數據集上表現出良好的性能。文獻[74]提出了一種基于卷積自動編碼器（CAE）和生成對抗網絡（SGAN）的半監督模型，堆疊的CAE用未標記的數據訓練，其編碼器網絡被保留并作為GAN鑒別器輸入到SoftMax層，使用GAN 生成鋼鐵表面缺陷的假圖像來訓練鑒別器。文獻[75]設計了一個由樣本生成和半監督學習組成的鋼鐵表面缺陷檢測系統。在半監督學習部分，使用了CDCGAN和ResNet18兩個分類器，并在NEU-CLS數據集上進行了對比實驗。其結果，證明該方法優于監督學習和遷移學習。文獻[76]提出了一種PCB焊點缺陷檢測框架。在該框架的分類任務中，采用了基于“樣本-查詢-建議”算法的主動學習的概念和基于“自訓練”的半監督學習的概念，該框架已被證明可以改善分類性能，同時大大減少注釋的數量。

3.3.2. Inexact Supervision Method

不精確監督側重于給出了監控信息，但信息不精確，即只包含粗粒度標簽的情況。對于更多包含像素級標簽的任務，圖像級標簽是粗粒度標簽。

文獻[77]在原有ResNet-50網絡的基礎上，刪除原有的全連接層和池化層，在網絡末端增加兩個1×1的卷積，得到缺陷對應的特征圖，實現了僅通過 圖像標簽完成對太陽能電池板裂紋的初步檢測。文獻 [78] 開發了一個由定位網絡（LNet）和決策網絡（DNet）組成的 WSL 框架用于鋼鐵表面缺陷檢測，其中 LNet 使用圖像級標簽訓練并輸出潛在缺陷位置的熱圖作為 DNet 輸入，DNet 使用 RSAM 對 LNet 識別的區域進行加權，所提出框架的性能在實際工業數據集上得到了證明。

目前，弱監督方法在工業產品表面缺陷檢測領域還比較少見，但由于同時具有監督學習方法和無監督學習方法的優點，這類方法的應用前景也很廣闊 .

3.4 總結

綜上所述，在深度學習的三種方法中，監督方法的應用最為廣泛，因為它具有較好的準確性，但也存在明顯的缺點；無監督方法符合產業發展的進程，但有其自身的特點；弱監督方法目前應用并不廣泛，但具有廣闊的發展前景。

4. 關鍵問題

4.1. 實時問題

在實際工業場景中的表面缺陷檢測任務中，實時性問題不容忽視。在一些特殊場景中，如在線分析、在線監控等，實時性問題處于極其重要的地位。處理實時性問題的目標是在準確率大致相同的前提下，減少檢測時間，提高檢測效率。目前，已有學者對實時性問題進行了一定的研究。例如，文獻[79]設計了一種新型的 11 層 CNN 模型，用于機器人焊接制造中的焊接缺陷檢測。該方法為金屬增材制造（AM）的在線檢測提供了指導，即該方法可以滿足一定的實時性要求。文獻 [80] 提出了一種結合 SSIM 和 MobileNet 的兩階段算法來檢測印刷電路板上的表面缺陷，在保持高精度的同時，其速度至少比 Faster RCNN 快 12 倍。

目前，模型加速是解決實時性問題的重要思路之一。模型加速主要可以從算法和硬件兩個方面進行，具體如下：

(1)算法：對于網絡算法層面，可以采用輕量級網絡對模型進行加速。常用的輕量級模型包括 MobileNet、ShuffleNet、SqueezeNet 和 EfficientNet。此外，蒸餾和修剪也可以用于在算法級別加速網絡。在計算算法上，可以優化卷積運算，達到模型加速的目的。典型的算法包括FFT、Winograd等。

(2)硬件：使用GPU、FPGA、DSP等是目前通過硬件加速模型的主要方式。

4.2. 小樣本問題

現實中，基于深度學習的表面缺陷檢測方法往往不能直接用于工業產品的表面缺陷檢測任務。主要原因之一是現代工業流程的不斷優化導致缺陷樣本越來越少，即缺陷圖像的數量非常有限。這種從少量樣本中學習的問題通常稱為小樣本問題[81]，在訓練過程中很容易導致過擬合問題。目前解決小樣本問題的主流方案主要有以下四種：

4.2.1. 數據增強

數據增強的常用方法包括平移、旋轉、鏡像對比度調整和數據合成。通過數據放大，可以獲得大量的樣本圖像。

文獻[82]在無缺陷圖像的表面添加合成缺陷以完成裝飾塑料零件數據集的擴展。文獻 [83] 以互補的方式將手工制作的特征與無監督學習特征融合在一起，生成更具辨別力的缺陷表示。

4.2.2. 無監督/半監督模型

無監督模型的優點之一是它只需要用正樣本而不是負樣本進行訓練，這為解決小樣本問題提供了方向。另外，只需要標記少量樣本的半監督模型也是解決小樣本問題的替代模型之一。具體內容參見3.2、3.3.1。

4.2.3. 遷移學習

通過遷移學習，已經從一項任務中學到的知識可以應用于其他不同但相關的任務，尤其是當目標任務的數據不足時。實際上，大多數數據或任務都是相關的。因此，遷移學習也是解決小樣本問題的主要思路之一。文獻 [84,85] 結合遷移學習和 Alex Net 來檢測太陽能電池板和織物的表面缺陷。文獻[86-90]將遷移學習與VGG網絡結合用于乳液泵體、印刷電路板、傳輸線組件、鋼板和木材的表面缺陷檢測。文獻 [91] 將遷移學習和 DenseNet 結合到織物表面缺陷檢測中。

4.2.4. 優化網絡結構

網絡結構的優化也是解決小樣本問題的一個方向。以GAN為例，AnoGAN模型在2017年的文獻[92]中被提出，首次將GAN用于圖像異常檢測。該模型不斷迭代優化固定生成器 G 的參數，在潛在空間中尋找與測試圖像最接近的生成圖像，然后使用 DCGAN 進行圖像異常檢測。2019年，文獻[93]對AnoGAN進行了改進，提出了f-AnoGAN模型。在該模型中，建議使用編碼器將圖像快速映射到潛在空間中的一個點，然后使用 WGAN 進行異常檢測。Encoder的引入解決了AnoGAN迭代優化需要大量時間的問題。此外，GANomaly模型（整體結構為encoder-decoder-encoder）在2018年的文獻[94]中提出；通過比較編碼得到的潛變量和重構編碼得到的潛變量的差異，檢測異常樣本。值得注意的是，上述模型都不需要用負樣本進行訓練。

4.3.小目標檢測問題

小目標檢測問題也是工業產品表面缺陷檢測領域的難點之一。小目標是指圖像中尺寸較小的目標?！靶　庇袃煞N定義。一種是絕對尺寸小，通常認為是尺寸小于32*32像素的小目標。另一種是相對尺寸小，即目標尺寸小于原始圖像尺寸的一定比例，如0.1，即該目標被認為是小目標。文獻[95]通過彩虹級聯（pooling and deconvolution）整合不同層的特征，增加不同層的特征圖數量的同時增加不同層之間的特征圖關系，一定程度上解決了小目標問題。文獻[96]提出了一個由多個不同IOU閾值的檢測器組成的Cascade R-CNN多階段目標檢測框架，在整個框架中，將前一階段調整后的proposal作為下一階段訓練的輸入。該方法用于小目標，通過該方法顯著提高了小目標的檢測結果。目前有一些技巧可以解決小目標檢測問題，總結如下：

(1)特征融合：將深層語義信息融合為淺層特征圖，利用深層特征豐富語義信息，同時利用淺層特征適合檢測小目標的特點；

(2) 數據增強：增加訓練集中小目標的樣本類型和數量；

(3) Image Pyramid + Multi-scale Sliding Window：為圖像設置不同的輸入尺寸，訓練時隨機選擇一個尺度，將輸入圖像縮放到這個尺度，發送到網絡；

(4)降低網絡下采樣率：通過降低下采樣率來減少特征圖上物體的損失，常用的方法是直接去掉池化層，同時使用空洞卷積；

(5)合理的anchor設計：主要方法包括：邊界聚類，即在訓練集的標簽上聚類一組合適的anchor；統計實驗，即把anchor和label的中心點放在一起，只利用寬高信息進行匹配實驗，找出一組寬高比分布最一致的anchor；設置更小更密集的anchor和匹配策略，比如不要為小物體設置太嚴格的IoU閾值；

(6)合適的訓練方法：使用高分辨率圖像進行預訓練，同時放大輸入圖像，然后在小分辨率圖像上進行微調；

(7) 使用GAN將小物體放大然后檢測；

(8)使用Context信息：在目標與其Context之間建立連接。

4.4. 數據不均衡樣本識別問題

不平衡樣本的識別 [97,98] 是基于深度學習方法用于工業產品表面缺陷檢測的另一個難點。在深度學習中，在訓練模型時，通常要求樣本集中各類別的樣本數量平衡。然而，這種理想情況在現實中很少發生。在更多情況下，數據集中“正?！睒颖镜臄祿客ǔＵ级鄶?，而“缺陷”或“異?！睒颖镜臄祿績H占總樣本的一小部分。這種現象稱為“樣本不平衡”現象。樣本識別不平衡的問題主要存在于監督學習的任務中。這個問題的出現會導致算法更加關注數據量較大的類別而低估數據量較小的類別，從而影響模型在測試數據中的泛化和預測能力。

目前，不平衡樣本的識別可以從數據層面、模型層面、特征層面、評價指標層面四個方面來處理。

4.4.1. 數據層面

數據層面的處理方法思想是改變訓練集的樣本分布，使訓練集中的樣本分布趨于平衡，即各類樣本的數量趨于一致?？梢詮臄祿?、數據增強、數據重采樣[99,100]、類均衡采樣、合成樣本[101]五個方面進行，如圖4所示。

4.4.2. 模型層面

(1) Cost-sensitive：cost-sensitive思想是在目標函數中增加誤分類小類樣本的損失值，通過優化目標函數來調整模型對小類樣本的注意力。有兩種主要的成本敏感方法：重建訓練集或引入成本敏感因素。

重構訓練集：在不改變現有算法的情況下，根據樣本的不同誤分類代價為訓練集中的每個樣本分配權重，根據權重重構原始樣本集。

引入成本敏感因素：為小類樣本分配較高的成本，為大類樣本分配較低的成本，以平衡樣本數量的差異。成本敏感因素包括成本敏感矩陣和成本敏感向量，成本敏感方法需要在處理前指定成本敏感矩陣（或成本敏感向量）。在實際情況中，成本敏感矩陣（或成本敏感向量）中誤分類權重的具體值通?？梢愿鶕颖鹃g的比率和分類結果的混淆矩陣等信息來指定。

(2)集成學習：使用集成學習進行缺陷檢測主要有兩種方式，分別是：

A：集成學習+數據預處理：典型的算法包括Smote bagging、Smote boost、Easy Ensemble和Balance cascade；

B：集成學習+成本敏感：典型的算法是AdaCost [102]，Rare Boost。

(3) 轉化為異常檢測問題：當樣本類別極不平衡時，缺陷檢測問題可以看成是異常檢測問題，異常檢測算法（如One-Class SVM、SVDD等）可以 用于建立單個分類器來檢測異常點（即小類別的樣本）。

4.4.3. 特征層面

從特征選擇的角度，根據與分類器的關系，可以進一步分為三種方法：

與分類器無關（典型算法：過濾器）；

獨立于分類器（典型算法：Wrapper）；

結合分類器（典型算法：嵌入式）。

4.4.4. 評估指標級別

由于樣本不平衡的問題對準確度（Accuracy）的影響最大，因此在實際中通常不會單獨使用該指標。一些評價指標是專門為解決樣本不平衡問題而設計的，如召回率、F1測度、Kappa系數、ROC（AUC）等。

5. 工業產品缺陷檢測數據集

數據集是研究工作的基礎。一個好的數據集更有利于問題的發現和總結，從而便于解決。目前，工業產品表面缺陷檢測領域還沒有一個龐大而統一的數據集。對于特定的研究對象和研究場景，經常使用不同的數據集。本節根據對象和應用場景的不同，對工業領域常用的數據集進行分類，并給出相關鏈接。如表 2 所示，這些數據集涵蓋了廣泛的工業應用，包括：熱軋鋼帶、鋼軌、電子換向器、太陽能電池板、印刷電路板、磁瓦、織物等。鑒于現有數據集的總結，希望能為學者在該領域的研究提供相同的數據來源。此外，圖 5 選取了部分數據集并在一定程度上展示了它。

MVTec AD 數據集共包含 15 個類別，其中 5 個類別為不同類型的紋理，其余 10 個類別為 10 個不同類型的對象。在這個數據集中，3629幅圖像用于訓練和驗證，1725幅圖像用于測試。訓練集僅包含無缺陷圖像，而測試集包含無缺陷圖像和各種類型的缺陷圖像。該數據集通常用于無監督缺陷/異常檢測。

6 總結

表面缺陷檢測是智能生產不可或缺的一部分。因此，研究工業產品表面缺陷檢測具有很強的現實意義。本文對機器學習方法在工業產品表面缺陷檢測中的現狀進行了一定的調查。我們首先討論傳統機器視覺方法和深度學習方法在表面缺陷檢測領域的應用。同時指出工業產品表面缺陷檢測領域的一些關鍵問題并總結其解決方案。此外，我們概括了一個相對完整的工業產品表面缺陷檢測數據集，可以幫助研究人員對工業產品表面缺陷檢測進行更深入的研究。

我們通過簡要解釋一些具體的研究方法來支持我們的觀點，這是有效的?？紤]到文章的篇幅和可讀性，我們只選取了一些研究方法進行擴展和解釋，因此存在一些方法的文獻不夠或不最新的問題。但是，我們相信我們的綜述可以幫助研究人員了解工業產品表面缺陷檢測的相關研究進展，并起到一定的參考作用。

審核編輯：湯梓紅