使用Edge Impulse在pico上進行手勢識別

描述

在 Edge Impulse 等在線平臺的幫助下，嵌入式機器學習現在變得很容易，并且允許創作者設計自己的應用程序，而只需要一點機器學習知識或根本不了解機器學習。

在這個項目中，我使用 MPU6050 加速計傳感器和 pi pico 創建了一個基本的手勢識別設備。該模型經過訓練可以識別左右、上下和空閑運動，并且可以通過向其添加更多手勢來進一步增強。識別的手勢顯示在 128*64 SSD1306 OLED 顯示屏上，甚至來自串行監視器（可選）。

整個應用是在VScode上pico的C/C++ sdk和訓練模型的edge impulse平臺上開發的。

我制作這個項目只是為了學習目的，以便在不久的將來實施更多與嵌入式 ML 相關的項目。

單擊此處查看公共邊緣脈沖項目。

Edge Impulse 平臺

Edge Impulse 是一個用于訓練 ML 模型的 ML 開發平臺，還允許您將這些模型部署到幾乎所有嵌入式開發板上，例如本項目中使用的 Raspberry pi pico。

憑借對 ML 的最少了解，我能夠按照平臺中提到的步驟創建一個基本的手勢識別模型。

單擊此處了解有關邊緣脈沖的更多信息。

訓練模型

1：配置Pi-co

使用數據轉發器，您只需使用幾個命令即可從 CMD 連接您的 pico，數據轉發器會自動計算設備的波特率和傳感器頻率，并將數據自動發送到服務。

按照此處的步驟了解數據轉發器。

在將設備連接到 Edge Impulse 服務器之前，請確保在 pico 上上傳數據轉發器代碼。

使用數據轉發器配置

2：數據采集

根據文件類型，有多種方法可以將數據發送到 Edge Impulse Service。對于此應用程序，數據轉發器還會在 pico 連接后處理數據采集。

這是來自加速度計的原始樣本數據。

?

12628,-6600,1376
12624,-6584,1268
12684,-6620,1284
12532,-6648,1100
12636,-6752,1296
12644,-6672,1404

?

數據x-axis,y-axis,z-axis 以當時捕獲的在線方式發送。

獲取3個標簽的數據，即up-down，left-right和idle。為每個標簽收集 20 個樣本進行訓練。

每個樣本收集 10 秒。例如，加速度計左右移動 10 秒以生成一個左右樣本。

1 / 2 ?捕捉左右運動

總共收集了 11 分鐘的數據，分為訓練集 8 分鐘和測試集 3 分鐘。

80% 留給訓練集，20% 留給測試集

3：模型訓練

我使用了默認選項來訓練模型。訓練后的模型準確率為 97.8%。但是，這僅使用驗證集進行評估，因此我們不能太依賴這種準確性。

培訓成果

為了確定準確性，我使用實時推理來確定模型在那一刻的預測，這似乎很有希望。

4.部署

一旦經過訓練的模型通過實時推理提供了良好的準確性，就可以在 pico 上部署它了。我已經從部署選項卡下載了 C/C++ 庫（未優化的 float32），并使用 Arduino 腳本作為參考來開發用于 pico 的 C++ 腳本。當我使用量化的 int8 庫時，我發現預測很差，這就是我選擇未優化的 float32 庫的原因。

添加 OLED 顯示屏

在 pico 上測試模型后，我使用了 SSD1306 OLED 顯示器來顯示識別手勢的圖形圖像。感謝Harbys git repo 提供 pico 的 OLED 驅動程序文件。

分別使用位圖圖像來顯示左右和上下圖像圖標。這些圖標取自谷歌圖像并使用image2cpp工具轉換為位圖數組。

1 / 4 ?上下圖標

注意：當圖像是從 Pico 的 USB 側面面向面包板查看時，左右圖像顯示為上下，反之亦然。

利用多核

整個過程由 Pico 的兩個內核處理，其中 core-1 處理執行數據采集和推理，core-0 負責 OLED 功能。我使用了兩個內核，因為我想了解并行處理，這種方法將使我能夠進一步向它添加更多功能（例如：在一個內核執行推理而另一個內核將數據發送到云服務器的應用程序中，或者到任何其他外圍設備），我稍后可能會實施。

利用多核

最終輸出

識別的手勢顯示在 OLED 顯示屏上

參考

關于嵌入式機器學習和項目構想-點擊此處查看coursera課程

MPU6050驅動開發-Vidura Embedded

SSD1306 OLED 驅動程序 - Harbys git repo

如何在 pico 上部署 Edge Impulse 模型 - Hardware.ai