友思特應用 | 高精度呈現：PCB多類型缺陷檢測系統

導讀

PCB等電子產品的精密生產制造過程中，往往需要將缺陷問題100%高精度暴露。友思特 PCB 多類型缺陷檢測系統，借由Neuro-T深度學習模型自動排查全部微小缺陷，為工業 PCB 生產制造提供了先進可靠的質量保障。

在現代制造業中，尤其是在高精度要求的電子制造領域，諸如印刷電路板（PCB）生產的過程中，高效且準確地識別和分類多種類型的缺陷至關重要。

針對缺陷檢測需求，常見的解決方案有兩種：（1）基于目標正常圖像數據的模板匹配；（2）訓練深度學習模型檢測目標缺陷。

第一種方式雖然在特定場景下有效，但面對復雜和多變的實際生產條件，這些方法往往受限于它們的靈活性和魯棒性。第二種方式不僅能夠處理傳統技術難以解決的復雜缺陷類型，還能通過不斷的學習優化，提高檢測的準確性和效率，具有更強的魯棒性和泛化能力。

友思特技術團隊通過Neuro-T 的 Segmentation（實例分割）模型，搭建了PCB 多類型缺陷檢測系統，為工業 PCB 的生產制造提供了可靠的質量保障。

友思特Neuro-T支持的深度學習模型類型

友思特 Neuro-T 支持八種不同的深度學習模型，其中六類模型適用于缺陷檢測領域。具體而言：

有監督學習模型

分類：簡單分類目標缺陷的有無，精度高

實例分割：準確識別并分割目標的缺陷區域，精度最高，適合占像素點少（低至10像素點）、形狀較簡單的缺陷

目標檢測：識別和定位目標的缺陷區域，精度高，適合占像素點稍多、形狀較復雜的缺陷

GAN：人工生成目標的缺陷圖像，彌補缺陷數據量不足的問題

無監督學習模型

異常分類：分類目標缺陷的有無，精度高于分類模型（可設置異常閾值），主要適用于數據缺乏場景

實例分割：準確識別并分割異常目標的缺陷區域，精度略低于實例分割模型（可設置異常閾值），主要適用于數據缺乏場景

PCB的六種常見缺陷類型

①missing_hole（焊盤缺失）

②mouse_bite（線路缺口）

③open_circuit（斷路）

④Short（短路）

⑤Spur（毛刺）

⑥Spurious（偽銅）

PCB 多類型缺陷檢測系統

友思特 PCB 多類型缺陷檢測系統主要由Neuro-R、IDS相機 和 VST-2D 軟件組成。PCB缺陷檢測模型使用 Neuro-T 中的實例分割模型，通過對數據集進行標注、訓練、微調實現，而后獨立于 Neuro-T 脫機運行，通過 Neuro-R 實現在主機上運行推理。VST-2D 軟件是友思特自研視覺軟件，對接 IDS 相機的實時圖像流，獲取 PCB 的實時圖像數據，結合 Neuro-R 調用 Neuro-T 訓練的模型，實現缺陷區域的識別、缺陷類型確定以及定位分割并將結果呈現于界面。

系統組成圖

系統檢測效果圖

友思特 Neuro-T 實例分割模型訓練 PCB 缺陷檢測模型具體操作步驟

1.1 新建項目

1.2 新建數據集

1.3 導入圖像數據

2.1 創建標簽集

2.2 選擇模型類型(Segmentation)

3.1 創建缺陷類別

3.2 選擇標注工具

3.3 開始數據標注

數據量較少的情況下，可以手動一一標注；數據量較多時，一一標注耗時耗力，可以使用友思特 Neuro-T 自動標注功能來完成標注工作

項目共693張圖像，標注139張，剩余使用自動標注功能完成

自動標注功能的具體步驟為：

標注部分數據

劃分訓練集和測試集

訓練標注模型

加載標注模型

選中圖像自動標注

標注完成的結果圖如下所示：

4.1 劃分訓練集和測試集

4.2訓練模型

4.3 查看模型結果

模型評估結果解讀：

IoU (Intersection over Union) 交并比，對于特定的一個實例，指模型預測區域與真實區域的交集比上它們的并集：

式中P為模型預測區域，R為真實區域，單位為像素點個數。

對于深度學習模型，IoU≥50%才算成功被檢測出來且效果較好。

準確率 (Accuracy)，衡量模型在所有類別上整體預測的準確程度：

精確率(Precision)，衡量模型將數據預測為缺陷的精準程度：

召回率(Recall)，衡量模型成功找到缺陷的能力：

精確率和召回率的調和平均值(F1 Score)，綜合考慮精確率和召回率兩個指標：

式中：

TP為正確判斷為A類缺陷（真實也是A類缺陷）的數量

TN為錯誤判斷為A類缺陷（真實為非A類缺陷）的數量

FP為正確判斷為非A類缺陷（真實為非A類缺陷）的數量

FN為錯誤判斷為非A類缺陷（真實為A類缺陷）的數量。

本應用案例有六類缺陷，對每類缺陷的指標取均值。

模型檢測效果圖

黑色字樣+黃色框：原始標注結果

紫色字樣+陰影框：預測結果

友思特缺陷檢測系統套裝

Neuro-R

Neuro-R 可實現無縫整合訓練軟件創建的模型至支持各種環境和編程語言的運行時 API，其獨特性在于——不僅僅是簡單地傳遞模型推斷結果，還可以利用各種 API 以創造性的方式從多個模型生成結果，Neuro-R 是友思特缺陷檢測系統套裝的重要組成部分。

Neuro-T

Neuro-T 使用簡單的圖形用戶界面，通過自動優化深度學習模型結構和訓練參數來創建出性能最佳的模型，無需任何深度學習經驗，即可運行自己的深度學習項目。在系統中，Neuro-T 是用于訓練模型的核心工具。

2D 工業相機

友思特 2D 工業相機結合了支持USB3視覺標準的高質量全局快門傳感器技術和具有成本效益的uEye XCP相機平臺，是流行的USB2接口的uEye LE相機系列的最佳、高性能和長期替代品。借助友思特自研視覺軟件 VST-2D，對接IDS相機的實時圖像流，即可獲取PCB的實時圖像數據。

審核編輯 黃宇