基于ResNet的手勢識別邊緣計算項目

描述

該項目使用ResNet50作為訓練網絡，使用已經標注關鍵點的手部圖像作為訓練集，使用Pytorch作為訓練模型的工具。然后通過 Xilinx 提供的 Vitis AI 工具對該模型進行量化、編譯和部署在 Xilinx KV260 Vision AI Starter Kit 中。該程序是對手部21個關鍵點的測試，測試圖像如下圖所示。

圖1 運行結果演示

?

?

1 關于 ResNet

ResNet 于 2015 年提出并因其“簡單實用”而在 ImageNet 競賽分類任務中獲得第一名，此后許多方法都建立在 ResNet50 或 ResNet101 上用于檢測、分割和識別。檢測、分割、識別等領域一直在使用ResNet。

?

2 數據集

該數據集包括網絡圖像和數據集<>，用于過濾一些動作重復低的圖像進行生產，有49、062個樣本。

感謝“Massive Multi-view 3D Hand Pose Dataset”數據集的貢獻者：Francisco Gomez-Donoso、Sergio Orts-Escolano 和 Miguel Cazorla。“海量多視圖 3D 手部姿勢數據集”。arXiv 電子版 1707.03742，2017 年 7 月。

?

3 培訓

對于模型訓練，我使用了上述公開可用的數據集。我通過 PyTorch 為 ResNet50 實現了網絡，并使用 RTX 3070Ti 作為 GPU 油門來獲取 PyTorch 模型（.pth 文件）。我準備了5張自己手上的照片來測試模型的訓練，圖片如下圖所示。

?

?

?

?

?

1 / 4 ?圖 2 張開手

?

?

4 配置 Vitis AI

Vitis AI 庫是一組高級庫和 API，旨在使用 DPU 高效執行 AI 推理。它使用 Vitis 運行時統一 API 構建在 Vitis AI 運行時之上，以提供對 XRT 的完整支持。

Vitis AI 庫通過封裝大量高效、高質量的神經網絡，提供易于使用且統一的界面。Vitis AI 庫讓您可以專注于開發自己的應用程序，而不是底層硬件。

參考 Vitis AI 用戶指南（UG1414），我們可以在上位機上快速配置環境，如下圖所示。

圖 6 已配置的 Vitis AI

?

?

5 使用 Vitis AI 量化工具量化模型

Vitis AI 量詞當前支持 TensorFlow（1.x 和 2.x）、PyTorch 和 Caffe。由于我們使用的是 PyTorch，因此需要安裝 vai_q_pytorch。在這里使用 Docker 容器安裝它似乎更容易。請注意，在創建獨立的 Conda vai_q_pytorch 環境之前，我們需要進入 vitis-ai-pytorch 環境。使用以下命令進行安裝。

/opt/vitis_??ai/scripts/replace_pytorch.sh new_conda_env_name

?

圖 7 更新 vai_q_pytorch 環境

?

?

然后我們將 petalinux 固件燒錄到 Xilinx KV260 Vision AI 套件中包含的 SD 卡中（感謝 Xilinx 為參與者提供的硬件支持。雖然小 SD 卡的價格非常低，但足夠看到 Xilinx 正在考慮用戶的觀點）。確保沒有先連接USB數據線、以太網線、直流電源線。

在電腦上安裝 MobaXterm 軟件，新建一個串口通訊任務。插入USB數據線電腦會彈出兩個串口，我們選擇COM號小號作為USB通訊接口，波特率選擇115200建立連接。

插上直流電源后，我們可以從串口界面觀察petalinux的啟動過程。配置密碼后，我們使用命令“sudo addr show”來查看 IP 地址（見下文）。我們通過 MobaXterm 軟件與 KV260 建立 SSH 連接，用于以后的數據傳輸。

?

圖 8 查看 IP 地址

?

配置完成后，我們為 vai_q_pytorch 準備輸入文件。第一個文件是預訓練的 PyTorch 模型，通常是 PTH 文件。第二個是包含浮點模型結構定義的 Python 腳本。第三個是訓練數據集的一個子集，包含 100 到 1000 張用于定量測試的圖像。三個文件準備好后，我們使用“--quant_mode calib”運行命令來量化模型。在運行期間，會跳過日志日志中顯示的損失和準確度。Vitis AI 編譯器的 xmodel 文件位于輸出目錄中。/量化結果。該文件可用于部署到 FPGA。

?

6編譯、部署和運行

對于 PyTorch，量化器 NNDCT 直接以 XIR 格式輸出量化模型。請使用vai_c_xir 編譯它。

vai_c_xir -x /PATH/TO/quantized.xmodel -a /PATH/TO/arch.json -o /OUTPUTPATH -n 網絡名

之后就可以部署模型來觀察實際檢測效果如圖9，盡情享受吧！

?

圖9，盡情享受吧！

?

?