使用Esp32和TinyML進(jìn)行手勢分類(lèi)

描述

介紹

手勢分類(lèi)是機器學(xué)習可以做的一個(gè)簡(jiǎn)單但同時(shí)也是很好的例子。它使用大量“雜亂”的數據對事物進(jìn)行分類(lèi)。

在這個(gè)項目中，我們將制作一個(gè)有 4 個(gè)類(lèi)的分類(lèi)器，idle、up_down、left_right 和 circle。該項目將使用Esp32 板（8 美元）制作，因為與使用Arduino Nano 33 BLE Sense （35 美元）的“經(jīng)典”示例相比，它非常便宜。

系統采用 Esp32、MPU6050 和 RGB LED。

?

數據采集

要將數據上傳到 Edge Impulse，我們需要使用 Edge Impulse CLI，按照本教程了解如何安裝它。

我們要使用的工具是Data Forwarder ，該工具將串行中可用的數據上傳到 Edge Impulse。我們需要使用 Arduino Sketch 以一定的采樣頻率將數據上傳到串行，并用“，”分隔數據，在這種情況下，我們將發(fā)送加速度數據。

#include 
#include 
#include 
#define FREQUENCY_HZ        60
#define INTERVAL_MS         (1000 / (FREQUENCY_HZ + 1))
// objeto da classe Adafruit_MPU6050
Adafruit_MPU6050 mpu;
static unsigned long last_interval_ms = 0;
void setup() {
Serial.begin(115200);
Serial.println("Classificador de gestos com TinyML");
// Try to initialize!
if (!mpu.begin()) {
Serial.println("Failed to find MPU6050 chip");
while (1) {
delay(10);
}
}
Serial.println("MPU6050 Found!");
mpu.setAccelerometerRange(MPU6050_RANGE_8_G);
Serial.print("Accelerometer range set to: ");
switch (mpu.getAccelerometerRange()) {
case MPU6050_RANGE_2_G:
Serial.println("+-2G");
break;
case MPU6050_RANGE_4_G:
Serial.println("+-4G");
break;
case MPU6050_RANGE_8_G:
Serial.println("+-8G");
break;
case MPU6050_RANGE_16_G:
Serial.println("+-16G");
break;
}
mpu.setGyroRange(MPU6050_RANGE_500_DEG);
Serial.print("Gyro range set to: ");
switch (mpu.getGyroRange()) {
case MPU6050_RANGE_250_DEG:
Serial.println("+- 250 deg/s");
break;
case MPU6050_RANGE_500_DEG:
Serial.println("+- 500 deg/s");
break;
case MPU6050_RANGE_1000_DEG:
Serial.println("+- 1000 deg/s");
break;
case MPU6050_RANGE_2000_DEG:
Serial.println("+- 2000 deg/s");
break;
}
mpu.setFilterBandwidth(MPU6050_BAND_21_HZ);
Serial.print("Filter bandwidth set to: ");
switch (mpu.getFilterBandwidth()) {
case MPU6050_BAND_260_HZ:
Serial.println("260 Hz");
break;
case MPU6050_BAND_184_HZ:
Serial.println("184 Hz");
break;
case MPU6050_BAND_94_HZ:
Serial.println("94 Hz");
break;
case MPU6050_BAND_44_HZ:
Serial.println("44 Hz");
break;
case MPU6050_BAND_21_HZ:
Serial.println("21 Hz");
break;
case MPU6050_BAND_10_HZ:
Serial.println("10 Hz");
break;
case MPU6050_BAND_5_HZ:
Serial.println("5 Hz");
break;
}
Serial.println("");
delay(100);
}
void loop() {
sensors_event_t a, g, temp;
if (millis() > last_interval_ms + INTERVAL_MS) {
last_interval_ms = millis();
mpu.getEvent(&a, &g, &temp);
Serial.print(a.acceleration.x);
Serial.print(",");
Serial.print(a.acceleration.y);
Serial.print(",");
Serial.println(a.acceleration.z);
}
}

在 Esp32 板準備好發(fā)送數據后，我們需要將 Edge Impulse 帳戶(hù)與 CLI 連接起來(lái)，它應該是這樣的：

圖片來(lái)自：https://docs.edgeimpulse.com/docs/cli-data-forwarder

?

• 了解這種方法的局限性很重要，例如，我們不能用它來(lái)上傳音頻數據，因為采樣頻率應該至少是信號最大頻率的兩倍（奈奎斯特采樣定理），我們可以不要使用串行以如此高的頻率傳輸數據。

之后你可以開(kāi)始收集一些數據，你可以做很多動(dòng)作，只要確保它們不太相似（稍后你可以在特征瀏覽器中決定）。

圓周運動(dòng)的數據

?

設計沖動(dòng)

脈沖是一組采集、處理和推理數據。

?

頻譜分析為 Keras 模型創(chuàng )建了要使用的特征，在這個(gè)階段，信號被過(guò)濾并生成兩個(gè)頻譜，一個(gè)是頻率（使用 FFT），另一個(gè)是能量（PSD ）

FFT 和 PSD

?

我們可以使用特征資源管理器看到我們的類(lèi)是如何分離的：

?

它們看起來(lái)非常不同，所以我們應該用模型得到一個(gè)很好的結果。

這些數據進(jìn)入神經(jīng)網(wǎng)絡(luò )，因為這是一項簡(jiǎn)單的任務(wù)，神經(jīng)網(wǎng)絡(luò )也應該很簡(jiǎn)單。

神經(jīng)網(wǎng)絡(luò )設計

?

在我們訓練模型之后，我們可以在混淆矩陣中看到性能：

?

它看起來(lái)不錯，但性能可能會(huì )隨著(zhù)測試數據而降低。

對模型感到滿(mǎn)意后，您可以使用 de Arduino IDE 和 Edge Impulse 中生成的庫將其嵌入。

?

就像 Arduino 中的另一個(gè)庫一樣，我們需要包含它并使用它們的函數進(jìn)行推理。

#include 
#include 
#include 
#include 

#define FREQUENCY_HZ        60
#define INTERVAL_MS         (1000 / (FREQUENCY_HZ + 1))
#define RED 16
#define GREEN 17
#define BLUE 18

// objeto da classe Adafruit_MPU6050
Adafruit_MPU6050 mpu;

float features[EI_CLASSIFIER_DSP_INPUT_FRAME_SIZE];
size_t feature_ix = 0;

static unsigned long last_interval_ms = 0;


void setup() {
  Serial.begin(115200);

  ledcSetup(0, 5000, 8);
  /*
    ledcAttachPin(RED, 0);
    ledcAttachPin(GREEN, 1);
    ledcAttachPin(BLUE, 2);
  */

  pinMode(RED, OUTPUT);
  pinMode(GREEN, OUTPUT);
  pinMode(BLUE, OUTPUT);



  if (!mpu.begin()) {
    Serial.println("Failed to find MPU6050 chip");
    while (1) {
      delay(10);
    }
  }
  Serial.println("MPU6050 Found!");

  mpu.setAccelerometerRange(MPU6050_RANGE_8_G);
  Serial.print("Accelerometer range set to: ");
  switch (mpu.getAccelerometerRange()) {
    case MPU6050_RANGE_2_G:
      Serial.println("+-2G");
      break;
    case MPU6050_RANGE_4_G:
      Serial.println("+-4G");
      break;
    case MPU6050_RANGE_8_G:
      Serial.println("+-8G");
      break;
    case MPU6050_RANGE_16_G:
      Serial.println("+-16G");
      break;
  }
  mpu.setGyroRange(MPU6050_RANGE_500_DEG);
  Serial.print("Gyro range set to: ");
  switch (mpu.getGyroRange()) {
    case MPU6050_RANGE_250_DEG:
      Serial.println("+- 250 deg/s");
      break;
    case MPU6050_RANGE_500_DEG:
      Serial.println("+- 500 deg/s");
      break;
    case MPU6050_RANGE_1000_DEG:
      Serial.println("+- 1000 deg/s");
      break;
    case MPU6050_RANGE_2000_DEG:
      Serial.println("+- 2000 deg/s");
      break;
  }

  mpu.setFilterBandwidth(MPU6050_BAND_21_HZ);
  Serial.print("Filter bandwidth set to: ");
  switch (mpu.getFilterBandwidth()) {
    case MPU6050_BAND_260_HZ:
      Serial.println("260 Hz");
      break;
    case MPU6050_BAND_184_HZ:
      Serial.println("184 Hz");
      break;
    case MPU6050_BAND_94_HZ:
      Serial.println("94 Hz");
      break;
    case MPU6050_BAND_44_HZ:
      Serial.println("44 Hz");
      break;
    case MPU6050_BAND_21_HZ:
      Serial.println("21 Hz");
      break;
    case MPU6050_BAND_10_HZ:
      Serial.println("10 Hz");
      break;
    case MPU6050_BAND_5_HZ:
      Serial.println("5 Hz");
      break;
  }

  Serial.println("");
  delay(100);

  Serial.print("Features: ");
  Serial.println(EI_CLASSIFIER_DSP_INPUT_FRAME_SIZE);
  Serial.print("Label count: ");
  Serial.println(EI_CLASSIFIER_LABEL_COUNT);

}

void loop() {
  sensors_event_t a, g, temp;

  if (millis() > last_interval_ms + INTERVAL_MS) {
    last_interval_ms = millis();

    mpu.getEvent(&a, &g, &temp);

    features[feature_ix++] = a.acceleration.x;
    features[feature_ix++] = a.acceleration.y;
    features[feature_ix++] = a.acceleration.z;

    if (feature_ix == EI_CLASSIFIER_DSP_INPUT_FRAME_SIZE) {
      Serial.println("Running the inference...");
      signal_t signal;
      ei_impulse_result_t result;
      int err = numpy::signal_from_buffer(features, EI_CLASSIFIER_DSP_INPUT_FRAME_SIZE, &signal);
      if (err != 0) {
        ei_printf("Failed to create signal from buffer (%d)\n", err);
        return;
      }

      EI_IMPULSE_ERROR res = run_classifier(&signal, &result, true);

      if (res != 0) return;

      ei_printf("Predictions ");
      ei_printf("(DSP: %d ms., Classification: %d ms.)",
                result.timing.dsp, result.timing.classification);
      ei_printf(": \n");

      for (size_t ix = 0; ix < EI_CLASSIFIER_LABEL_COUNT; ix++) {
        ei_printf("    %s: %.5f\n", result.classification[ix].label, result.classification[ix].value);
        if (result.classification[ix].value > 0.6) {
          if (result.classification[ix].label == "up_down")
          {
            /*// color code #00C9CC (R = 0,   G = 201, B = 204)
              //analogWrite(RED, 0);
              ledcWrite(0, 0);
              //analogWrite(GREEN, 201);
              ledcWrite(1, 201);
              //analogWrite(BLUE, 204);
              ledcWrite(2, 204);
              Serial.println("up and down");*/
            digitalWrite(RED, HIGH);
            digitalWrite(GREEN, LOW);
            digitalWrite(BLUE, LOW);
          } else if (result.classification[ix].label == "left_right")
          {
            digitalWrite(RED, LOW);
            digitalWrite(GREEN, HIGH);
            digitalWrite(BLUE, LOW);
          } else if (result.classification[ix].label == "circle")
          {
            digitalWrite(RED, LOW);
            digitalWrite(GREEN, LOW);
            digitalWrite(BLUE, HIGH);
          } else
          {
            digitalWrite(RED, LOW);
            digitalWrite(GREEN, LOW);
            digitalWrite(BLUE, LOW);
          }
        }
      }
      feature_ix = 0;
    }

  }
}

void ei_printf(const char *format, ...) {
  static char print_buf[1024] = { 0 };

  va_list args;
  va_start(args, format);
  int r = vsnprintf(print_buf, sizeof(print_buf), format, args);
  va_end(args);

  if (r > 0) {
    Serial.write(print_buf);
  }
}

在這個(gè)應用程序中，我使用 RGB LED 來(lái)顯示檢測到的類(lèi)，您也可以在串行監視器中看到。

?

?