處理電子產品的ESD保護項目

描述

作為 Edge Impulse 專家網絡的一部分，Seeed Studio 慷慨地提供了一些reComputer Jetson-10-1-H0來開發示例項目并按其步調運行硬件。

Seeed reComputer 使用 Jetson Nano 4GB 和 16GB eMMC（稍后會詳細介紹），外殼非常光滑。它已經加載了 Jetpack 4.6 和 Ubuntu 18.04 LTS，基本上可以開箱即用。

對于我的項目，我自愿制作靜電放電 (ESD) 風險標識符，以防止在處理電子產品時發生潛在的 ESD 故障。ESD 會導致難以識別的電子設備損壞，并可能導致未來幾個月出現故障，從而導致組織需要昂貴的保修維修或召回費用。

我的項目的前提是在電子裝配工的工作臺上安裝一個攝像頭。攝像頭將連接到 Seeed Studio reComputer（通過 CSI 端口或通過 RTSP 流），該計算機將運行Edge Impulse 的 FOMO對象檢測架構，以識別操作員是否佩戴腕帶，并識別任何異物（即戒指或手表）操作員在處理敏感電子設備時不應佩戴。

需要標記訓練數據（對象檢測見“Labeling queue”標簽

?

完成標記后，我得到了每個類別的大約 100 個樣本。對于更強大的模型，我當然會推薦更多，但對于概念證明，這個數量非常有效。注意：我確實看到了區分手表和腕帶的一些挑戰，因為它們看起來非常相似。更多的數據和多樣化的樣本將有助于消除這一挑戰。有時我會在測試期間看到腕帶被歸類為手表。

戒指明顯不同，但手表和腕帶彼此靠得更近。

?

由于我的沖動，我選擇了 160x160 的圖像并使用了 Edge Impulse 的 FOMO。這對我的左手和右手有很好的視野。然后我可以在分類器中運行這兩個圖像。如果我只對一張圖像進行分類，由于 FOMO 需要等維圖像，圖像會被擠壓并且無法看到雙手。

調試圖像顯示如何將一個幀拆分為兩個圖像以進行推理。

?

我第一次嘗試使用 FOMO 創建模型時，結果很糟糕。原來我沒有足夠的數據。我怎么強調都不為過，更有效的數據對模型的準確性很重要。一旦我添加了更多數據，模型的 F1 分數就會提高。

每個類別只有 100 個樣本，該模型實際上表現相當不錯

?

對結果感到滿意后，我將模型部署為 Linux 二進制文件（.eim 文件）。我的 Edge Impulse 項目的公共版本可以在這里找到。

將模型保存到 Jetson reComputer 后，我便開始編碼。這兩種選擇對我來說都很有效。我在讓相機驅動程序工作時遇到了一些小問題（nanocamera 最終為我工作）但是一旦我完成了這些，它真的很有趣而且簡單。

這個項目很有趣。我已經使用 Jetson Nano 一年多了，如果你能解決驅動程序和依賴性問題（它們似乎在我使用 Nano 的每個項目中都會出現），它真的很強大而且使用起來很有趣。我什至還沒有使用過 DeepStream 或任何 NVIDIA 工具，所以我期待有一天能嘗試一下。

內存限制很不幸，占用了我一些時間，我希望將來能解決這個問題。我什至不得不在 Nano 上進行開發，因為我沒有足夠的空間來安裝 VS Code（我選擇的 IDE）。無論如何都不是一個阻礙，這仍然是一個非常有能力的硬件。

我認為這個項目將來可以進一步擴展。如果存在 ESD 風險，您可以添加一個 Twilio 界面來向主管發送短信。可以對不同類型的物體進行分類（也許確保穿著 ESD 工作服？）而我更興奮的是在Edge Impulse Imagine 2022上宣布的FOMO-AD （AD 代表異常檢測）。它要到 2023 年才能準備就緒，但我認為有很多機會使用該技術來識別圖像中的正確和錯誤。我很高興能測試它的功能！

?