使用Sipeed MaiX板進行對象檢測(Kendryte K210)

描述

作為我之前關于使用 Sipeed MaiX 板進行圖像識別的文章的延續，我決定寫另一個教程，重點是對象檢測。但請記住，我不是 Kendryte 或 Sipeed 開發團隊的成員，無法回答與他們的產品相關的所有問題。本質上， aXeleRate是基于我用于訓練圖像識別/對象檢測模型的腳本集合 - 組合成一個框架并針對 Google Colab 上的工作流程進行了優化。使用起來更方便，更新更及時。

2022 年 3 月 29 日更新。我盡我所能定期更新我的文章，并根據您在 YouTube/Hackster 評論部分的反饋。如果您想表達對這些努力的支持和贊賞，請考慮給我買杯咖啡（或披薩）:)。

對于舊版本的文章，你仍然可以在steemit.com 上看到。

第 1 步：對象檢測模型架構說明

圖像識別（或圖像分類）模型將整個圖像作為輸入，并輸出我們試圖識別的每個類別的概率列表。如果我們感興趣的對象占據了圖像的大部分并且我們不太關心它的位置，這將非常有用。但是，如果我們的項目（比如人臉跟蹤相機）不僅需要了解圖像中對象的類型，還需要了解其坐標，該怎么辦。那么需要檢測多個對象（例如計數）的項目呢？

這是對象檢測模型派上用場的時候。在本文中，我們將使用 YOLO（你只看一次）架構，并重點解釋這個特定架構的內部機制。

我們試圖確定圖片中存在哪些對象以及它們的坐標。由于機器學習不是魔術，也不是“思維機器”，而只是一種使用統計數據優化功能（神經網絡）以更好地解決特定問題的算法。我們需要對這個問題進行解釋，使其更“可優化”。這里的一個天真的方法是讓算法最小化它的預測和對象的正確坐標之間的損失（差異）。只要我們在圖像中只有一個對象，這就會很好地工作。對于多個對象，我們采用不同的方法——我們添加網格并讓我們的網絡預測每個網格中對象的存在（或不存在）。好聽，但是仍然給網絡留下了太多的不確定性——如何輸出預測以及在一個網格單元內有多個中心的對象時該怎么辦？我們需要再添加一個約束——所謂的錨。錨點是初始大?。▽挾?、高度），其中一些（最接近對象大?。⒄{整為對象大小 - 使用神經網絡的一些輸出（最終特征圖）。

所以，這是一個關于 YOLO 架構神經網絡對圖像執行對象檢測時發生了什么的頂級視圖。根據特征提取器網絡檢測到的特征，對每個網格單元進行一組預測，包括錨點偏移量、錨點概率和錨點類別。然后我們丟棄低概率的預測，瞧！

第 2 步：準備環境

aXeleRate 基于 penny4860 的精彩項目，SVHN yolo-v2 數字檢測器。 aXeleRate 將這種在 Keras 中的 YOLO 檢測器實現提升到一個新的水平，并使用其方便的配置系統來執行圖像識別/對象檢測和具有各種后端的圖像分割網絡的訓練和轉換。

使用 aXeleRate 有兩種方法：在 Ubuntu 機器上本地運行或在 Google Colab 中運行。要在 Google Colab 中運行，請查看以下示例：

PASCAL-VOC 目標檢測 Colab Notebook

現在在本地訓練您的模型并將其導出以用于硬件加速也變得更加容易。我強烈建議您在 Anaconda 環境中安裝所有必要的依賴項，以使您的項目與其他項目分開并避免沖突。

在此處下載安裝程序。

安裝完成后，新建環境：

conda create -n yolo python=3.7

讓我們激活新環境

conda activate yolo

bash shell 前的前綴將與環境名稱一起出現，表明您現在在該環境中工作。

在本地機器上安裝 aXeleRate

pip install git+https://github.com/AIWintermuteAI/aXeleRate

然后運行它來下載訓練和推理所需的腳本：

git clone https://github.com/AIWintermuteAI/aXeleRate.git

您可以使用 aXeleRate 文件夾中的 tests_training.py 運行快速測試。它將為每種模型類型運行訓練和推理，保存和轉換訓練好的模型。由于它只訓練 5 個 epoch 并且數據集非常小，您將無法獲得有用的模型，但此腳本僅用于檢查是否存在錯誤。

第 3 步：使用 Keras 訓練對象檢測模型

現在我們可以使用配置文件運行訓練腳本。由于 YOLO 目標檢測器的 Keras 實現相當復雜，因此我將解釋如何配置訓練并描述相關模塊，而不是解釋每個相關的代碼，以防您想自己對它們進行一些更改。

讓我們從一個玩具示例開始，訓練一個浣熊探測器。/config 文件夾內有一個配置文件 raccoon_detector.json。我們選擇 MobileNet7_5 作為架構（其中 7_5 是原始 Mobilenet 實現的 alpha 參數，控制網絡的寬度）和 224x224 作為輸入大小。讓我們看一下配置中最重要的參數：

類型是模型前端 - 分類器、檢測器或 Segnet
架構是模型后端（特征提取器）

- 全 Yolo - Tiny Yolo - MobileNet1_0 - MobileNet7_5 - MobileNet5_0 - MobileNet2_5 - SqueezeNet - VGG16 - ResNet50

有關錨點的更多信息，請在此處閱讀 https://github.com/pjreddie/darknet/issues/568

標簽是數據集中存在的標簽。重要提示：請列出數據集中存在的所有標簽。

object_scale確定對對象預測器置信度的錯誤預測懲罰多少

no_object_scale確定對非對象預測器的置信度的錯誤預測懲罰多少

coord_scale確定對錯誤位置和大小預測（x、y、w、h）的懲罰程度

class_scale決定對錯誤的類預測懲罰多少

增強- 圖像增強、調整大小、移動和模糊圖像，以防止過度擬合并在數據集中有更大的多樣性。

train_times, validation_times - 重復數據集的次數。如果您有增強功能，則很有用

啟用

first_trainable_layer - 如果您使用的是預訓練的特征網絡，則允許您凍結某些層

現在我們需要下載我在Google Drive上共享的數據集（原始數據集），這是一個浣熊檢測數據集，包含 150 張帶注釋的圖片。

確保相應地更改配置文件（train_image_folder、train_annot_folder）中的行，然后使用以下命令（來自 aXeleRate 文件夾）開始訓練：

python axelerate/train.py -c configs/raccoon_detector.json

train.py 從 .json 文件中讀取配置并使用 axelerate/networks/yolo/yolo_frontend.py 腳本訓練模型。yolo/backend/loss.py 是實現自定義損失函數的地方，yolo/backend/network.py 是創建模型的地方（輸入、特征提取器和檢測層放在一起）。axelerate/networks/common_utils/fit.py 是實現訓練過程的腳本，而 axelerate/networks/common_utils/feature.py 包含特征提取器。如果您打算使用帶有 K210 芯片和 Micropython 固件的訓練模型，由于內存限制，您可以在 MobileNet（2_5、5_0 和 7_5）和 TinyYolo 之間進行選擇，但我發現 MobileNet 提供了更好的檢測精度。

由于它是一個玩具示例并且僅包含 150 張浣熊的圖像，因此即使沒有 GPU，訓練過程也應該非?？?，盡管準確度遠非一流。對于與工作相關的項目，我訓練了一個交通標志檢測器和一個數字檢測器，這兩個數據集都包含了數千個訓練示例。

第 4 步：將其轉換為 .kmodel 格式

使用aXeleRate，模型轉換是自動進行的——這可能是與舊版訓練腳本最大的不同！另外，您可以將模型文件和訓練圖整齊地保存在項目文件夾中。此外，我確實發現驗證準確度有時無法估計對象檢測的模型實際性能，這就是為什么我添加 mAP 作為對象檢測模型的驗證指標的原因。您可以在此處閱讀有關 mAP 的更多信息。

如果 mAP、平均精度（我們的驗證指標）在 20 個 epoch 內沒有提高，則訓練將提前停止。每次 mAP 改進時，模型都會保存在項目文件夾中。訓練結束后，aXeleRate 自動將最佳模型轉換為指定格式 - 您現在可以選擇“tflite”、“k210”或“edgetpu”。

現在到最后一步，在 Sipeed 硬件上實際運行我們的模型！

第 5 步：在 Micropython 固件上運行

可以使用 C 代碼使用我們的對象檢測模型運行推理，但為了方便起見，我們將使用 Micropython 固件和 MaixPy IDE 代替。

從這里下載MaixPy IDE和從這里下載 micropython 固件。您可以使用 python 腳本 kflash.py 燒錄固件或在此處下載單獨的 GUI flash 工具。

將 model.kmodel 復制到 SD 卡的根目錄，并將 SD 卡插入 Sipeed Maix Bit（或其他 K210 設備）。或者，您可以將 .kmodel 刻錄到設備的閃存中。我的示例腳本從閃存讀取 .kmodel。如果您使用的是 SD 卡，請更改此行

task = kpu.load(0x200000)

至

task = kpu.load("/sd/model.kmodel")

打開 MaixPy IDE 并按下連接按鈕。從 example_scripts/k210/detector 文件夾打開 raccoon_detector.py 腳本，然后按開始按鈕。您應該會看到來自攝像機的實時流，周圍有邊界框……好吧，浣熊。您可以通過提供更多訓練示例來提高模型的準確性，但請記住，它是精靈小模型（1.9 M），并且在檢測小物體時會遇到麻煩（由于分辨率低）。

我在上一篇關于圖像識別的文章的評論中收到的一個問題是如何通過 UART/I2C 將檢測結果發送到連接到 Sipeed 開發板的其他設備。在我的 github 存儲庫中，您將能夠找到另一個示例腳本 raccoon_detector_uart.py，它（您猜對了）檢測浣熊并通過 UART 發送邊界框的坐標。請記住，用于 UART 通信的引腳因不同的板而異，您需要在文檔中自行檢查。

第 6 步：總結

Kendryte K210 是用于計算機視覺的堅固芯片，靈活，但可用內存有限。到目前為止，在我的教程中，我們已經介紹了使用它來識別自定義對象、檢測自定義對象和運行一些基于 OpenMV 的計算機視覺任務。我知道它也適用于人臉識別，并且經過一些修改，應該可以進行姿勢檢測和圖像分割（例如用于單目深度估計）。隨意 fork 我的 GitHub 存儲庫并自己做一些很棒的事情！

以下是我在編寫本教程時使用的一些文章，如果您想了解有關使用神經網絡進行對象檢測的更多信息，請查看：

邊界框物體檢測器：了解 YOLO，你只看一次

了解 YOLO（更多數學）

關于 YOLO 對象本地化如何與 Keras 配合使用的溫和指南（第 2 部分）

使用 YOLO、YOLOv2 和現在的 YOLOv3 進行實時對象檢測

希望您可以利用您現在擁有的知識來構建一些帶有機器視覺的很棒的項目！你可以在這里購買 Sipeed 板，它們是嵌入式系統上機器學習最便宜的選擇之一。

如果您有任何問題，請在LinkedIn上添加我，并訂閱我的 YouTube 頻道，以獲得有關機器學習和機器人技術的更多有趣項目的通知。