TinyML狗吠止動器開源硬件

描述

問題

自從我家開始上學和工作后，我的狗就開始發瘋了。在隔離期間，她真的很依戀并產生了分離焦慮。為了解決這個問題，我們必須在我們離開時檢測到 Clairette 的吠叫，并使用我們的聲音錄音來回應它們。

如何建造

1. 按照原理圖接線。

2. 將 bark_listener.ino 上傳到 Arduino Nano 33 BLE Sense。

3. 上傳 bark_audio_responder.ino 到 Arduino Nano。

4.上傳音頻文件到SD卡。

5. 將 Music Maker Feather 連接到 AUX 揚聲器。

6. 插入 Arduino Nano 33 BLE Sense。

7. 看著樹皮停止！

?

?

?

?

1 / 7 ?整個設置

?

訓練模型

由于沒有一個大數據集足以檢測狗叫聲，所以我使用了一對。按模型中的重要性排名，我使用的數據集是：

• 谷歌音頻集：樹皮
• 我自己的數據（狗叫聲和房子周圍的背景噪音）
• 谷歌語音命令數據集
• 音頻貓狗

然后，我使用 Shawn Hymel 的關鍵詞發現數據集管理腳本將數據預處理為一秒鐘的剪輯并添加背景噪音。然后每個音頻片段都被標記為“樹皮”或“其他”。我還必須對樹皮數據進行大量清理，因為來自 Google Audioset 的許多剪輯中沒有樹皮：我通過聆聽標記為其他的音頻樣本并根據它們是否真的是樹皮或重新分配它們來做到這一點不是）。

我將所有音頻剪輯上傳到 Edge Impulse 的標簽下；然后，我使用 Edge Impulse 的 Eon Tuner 來尋找和訓練最佳模型。

?

?

?

?

1 / 3 ? Eon 調諧器驗證準確性和性能

?

原始音頻被轉換為 Mel-filterbank 能量譜圖，這是模型使用的音頻的圖像表示。下圖顯示了不同類型之間的原始音頻看起來并沒有什么不同；頻譜圖使樣本之間的相似性最明顯。

頻譜圖

?

部署模型

邊緣脈沖輸出

?

Edge Impulse 導出可與 Arduino Nano 33 BLE Sense 一起使用的 Arduino 庫。該庫處理音頻到頻譜圖的轉換和模型推理。

回應吠叫

音軌文件

?

每當檢測到吠叫時，都會播放隨機曲目以回應狗。我的狗最依戀我的媽媽，所以我們記錄了她。曲目范圍從告訴她停止或告訴她沒關系。

我不得不使用外部 Arduino Nano 來控制，因為 Nano 33 運行 MBED 操作系統，它沒有足夠快的中斷來控制音頻（使用 Nano 33 時，音頻非常不穩定）。