用于對象檢測的合成數據生成

描述

?

深度學習極大地提高了計算機視覺的性能，使其能夠達到人類甚至在某些情況下甚至超人類水平的能力。在過去的幾年里，用于訓練深度神經網絡的框架一直在提高其用戶友好性，以至于具有一些 Python 編程技能的普通用戶可以訓練和使用神經網絡來完成廣泛的計算機視覺任務，包括圖像分類、對象檢測和語義分割。

不過有一個警告——眾所周知，如果你想獲得好的結果，深度神經網絡需要大量數據進行訓練。在某些情況下，您可以使用開放數據集 - 然后問題就解決了。

在圖像分類的情況下，可以通過抓取網絡獲得中小型數據集。對于對象檢測，情況更加困難，因為訓練對象檢測網絡不僅需要圖像，還需要注釋文件，其中包含邊界框坐標。因此，如果有問題的對象沒有可用的良好開源檢測數據集，您唯一的選擇是手動創建數據集，這可能是一項乏味的任務。

除非...

您可以使用合成數據自動執行數據集創建過程。有幾種方法可以生成用于對象檢測的合成數據：

1）只需將對象粘貼到背景上并隨機化它們的方向/比例/位置

2）使用逼真的3D渲染引擎，如Unreal Engine

3) 使用 GAN 生成數據？當然，在這種情況下，您已經擁有一個能夠識別/檢測相關對象的網絡（GAN 中的鑒別器），所以這有點像雞與蛋的問題

2022 年 4 月 4 日更新。我盡我所能定期更新我的文章，并根據您在 YouTube/Hackster 評論部分的反饋。如果您想表達對這些努力的支持和贊賞，請考慮給我買杯咖啡（或披薩）:)。

在本文中，我們將重點介紹最簡單和最容易剖析的方法 - 剪切粘貼。不要被腳本生成的圖像看似簡單和不切實際的外觀所迷惑。卷積神經網絡沒有邏輯或常識——因此對于我們的對象檢測網絡，即使是看似荒謬的圖像也是一個很好的學習材料。

在這些照片中，重力似乎消失了。嗯，YOLO 不知道重力

?

我的任務是MARK 機器人平臺的樂高檢測模型。我在 Kaggle 上找到了一個很好的樂高分類數據集，但沒有現成的檢測數據集。所以我決定重新設計用于為論文Cut, Paste and Learn: Surprisingly Easy Synthesis for Instance Detection生成合成場景的代碼。

下載并準備對象實例

從這里下載樂高圖像數據集。它實際上也是使用 Autodesk Maya 2020 從 3D 模型程序生成的。

對于合成數據生成，我們將需要對象實例及其二進制掩碼——在我們的例子中，由于樂高積木都在黑色背景上，我們可以簡單地使用以下閾值腳本來生成這些掩碼。我們還隨機給樂高積木上色，因為我們希望模型檢測不同顏色的樂高積木。

# Standard imports
import cv2
import numpy as np;
import os
import time
import random
import sys

colors = ([1, 0, 0], [0, 1, 0], [0, 0, 1], [1, 1, 0], [0, 1, 1], [1, 0, 1])
input_folder = sys.argv[1]
output_folder = sys.argv[2]
try:
    os.mkdir(os.path.join(os.path.join(output_folder, "imgs")))
    os.mkdir(os.path.join(os.path.join(output_folder, "masks")))
except Exception:
    pass
for folder in os.listdir(input_folder):
    for file in os.listdir(os.path.join(input_folder, folder)):
        print(file)
        img = cv2.imread(os.path.join(input_folder, folder, file))
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        ret, thresh = cv2.threshold(gray, 1,255, cv2.THRESH_BINARY_INV)
        
        #coloring
        RGB = random.randint(0, len(colors)-1)  
        img[thresh == 0] *= np.array(colors[RGB], dtype='uint8')
        
        #writing to files
        cv2.imwrite(os.path.join(os.path.join(output_folder, "imgs", file)), img)
        cv2.imwrite(os.path.join(os.path.join(output_folder, "masks", file)), thresh)
        
        cv2.imshow('final', img)
        cv2.waitKey(50)
cv2.destroyAllWindows()

使用輸入文件夾的名稱運行上述腳本（其中包含具有不同對象圖像的文件夾，每種類型的對象一個）和輸出文件夾，其中將保存圖像和蒙版，例如

python helper.py objects output

?

您將看到正在處理和保存的圖像。

?

接下來，克隆我的剪切、粘貼和學習論文代碼的分支——我將其更改為使用 Python 3 并接受.png 圖像作為掩碼。

git clone https://github.com/AIWintermuteAI/syndata-generation.git

安裝所有必需的依賴項（我建議您安裝依賴項并在 Python 的虛擬環境中執行腳本，例如 conda 或 virtualenv）。

pip install -r requirements.txt

將帶有圖像和蒙版的文件夾放入 data_dir/objects_dir 并在 data_dir/backgrounds 中添加或更改背景圖片。干擾物是我們試圖檢測的其他不是物體的物體——我在做這個項目時沒有使用它們。然后使用以下命令運行生成腳本：

python dataset_generator.py data_dir/objects_dir/lego/imgs output_dir/ --num 3 --scale --dontocclude

和...

獲得數據后，我們需要對其進行適當的結構化。需要有 4 個文件夾——訓練圖像、訓練注釋、驗證圖像和驗證注釋。只需從剛剛生成的數據中剪切一些圖片和注釋，然后將它們粘貼到驗證圖像和注釋文件夾中。確保剪切而不是復制圖像/注釋。

訓練模型

您可以使用任何框架/腳本來訓練模型 - 但是我建議使用aXeleRate，這是一個基于 Keras 的邊緣 AI 框架。它將自動訓練模型并將訓練會話的最佳模型轉換為邊緣推理所需的格式 - 目前它支持將訓練模型轉換為：.kmodel(K210)、.tflite 格式（提供完整的整數和動態范圍量化支持)，OpenVINO IR 模型格式。實驗性支持：Google Edge TPU、TensorRT。

?

在本地機器上安裝 aXeleRate

pip install git+https://github.com/AIWintermuteAI/aXeleRate

要下載示例，請運行：

git clone https://github.com/AIWintermuteAI/aXeleRate.git

您可以使用aXeleRate文件夾中的 tests_training_and_inference.py運行快速測試。它將為每種模型類型運行訓練和推理，保存和轉換訓練好的模型。由于它只訓練 5 個 epoch 并且數據集非常小，您將無法獲得有用的模型，但此腳本僅用于檢查是否存在錯誤。

對于實際訓練，您需要運行以下命令：

python axelerate/train.py -c config/lego_detector.json

您可以從此處下載 example.json 配置文件和預訓練模型。確保更改圖像/注釋訓練和驗證文件夾路徑以匹配它們在系統上的位置。有關配置文件中附加參數的進一步說明，請查看本文。

推理

訓練完成后，您可以使用以下命令在您的計算機上進行快速健全性檢查并執行推理：

python axelerate/infer.py -c config/lego_detector.json --weights path-to-h5-weights

以下步驟將取決于您要運行訓練模型的硬件。例如，對于 Raspberry Pi，使用 generated.tflite 模型和這個示例腳本。

在本文中，我們將使用基于 K210 的機器人平臺進行 AI 教育，MARK（代表 Make A Robot Kit）。將項目文件夾中的.kmodel 文件復制到SD 卡中，并將SD 卡插入cyberEye 主板——cyberEye 是Maixduino 的定制版本。首先，讓我們使用來自 TinkerGen 的圖形編程環境 Codecraft 快速測試我們的機器人樂高檢測功能。

打開 Codecraft ，選擇 MARK(cyberEye) 作為設備，添加自定義模型擴展并定義具有以下屬性的對象檢測模型：

?

然后使用新出現的塊創建以下代碼：

?

如果您覺得卡住了，可以從本文的附件中下載 Codecraft 的 .cdc 文件。

它適用于較大的樂高積木，但也可以檢測較小的積木。在找到四月標簽后，機器人會接近四月標簽，直到達到設定的距離。然后它放下樂高積木，轉身并從循環的開頭繼續。

如果您使用相同型號和相同打印的 April Tag（A3 紙，tag36h11_1），您可以簡單地在 MaixPy IDE 中執行代碼并觀看您的機器人收集樂高積木！

如果您有任何問題，請在LinkedIn上添加我，并訂閱我的 YouTube 頻道，以獲得有關機器學習和機器人技術的更多有趣項目的通知。