TinyML:使用合成數據的永遠在線(xiàn)的音頻分類(lèi)器

tar -zxvf voice-en-us-ryan-high.tar.gz

使用以下代碼片段通過(guò) Piper TTS 生成 WAV 音頻文件。將model_path變量替換為您下載的語(yǔ)言模型的路徑，并將text變量替換為您要轉換為語(yǔ)音的文本。該代碼將在輸出目錄中生成 904 個(gè)音頻文件，每個(gè)文件都有不同的揚聲器。

import subprocess
text = "Your name"
model_path = "./en-us-libritts-high.onnx"
for i in range(0, 904):
    output_file = f'./output/{i}.wav'
    cmd = f'echo "{text}" | ./piper/piper --model {model_path} --output_file                {output_file} --speaker {i}'
    subprocess.run(cmd, shell=True, check=True)

此外，您還可以使用為您準備的 Google Colab 筆記本。該筆記本包含使用Piper TTS生成音頻文件的所有必要步驟和代碼。

谷歌 Colab 筆記本

?

您可以通過(guò)提供給您的鏈接訪(fǎng)問(wèn)筆記本。

默認運行時(shí)使用 CPU，但您可以將運行時(shí)更改為 GPU。

?

為了在筆記本上使用 GPU，請選擇運行時(shí) > 更改運行時(shí)類(lèi)型菜單，然后將硬件加速器下拉菜單設置為 GPU

?

Piper TTS 無(wú)需 GPU 即可運行，而AudioLDM文本到音頻生成工具需要 GPU 激活。以下是通過(guò)AudioLDM生成音頻的步驟。

使用 AudioLDM 生成高質(zhì)量的合成音頻數據集

要從文本生成音頻文件，下一步涉及使用名為AudioLDM的文本到音頻生成工具。該工具利用潛在擴散模型從文本生成高質(zhì)量音頻。要使用 AudioLDM，您需要一臺配備強大 GPU 的獨立計算機。

要使用文本提示生成音頻文件，您有兩種選擇：您可以在自己的計算機上使用 GPU 安裝 audioldm，或者使用我為您準備的Google Colab 。

首先，您需要通過(guò)運行以下命令使用 pip 安裝 PyTorch

pip3 install torch==2.0.0

接下來(lái)，您可以通過(guò)運行命令來(lái)安裝 audioldm 包

pip3 install audioldm

安裝必要的包后，您可以使用 GitHub 部分中提供的代碼片段從文本提示生成音頻文件。為此，只需運行命令

python3 generate.py

這將啟動(dòng)生成過(guò)程，您應該會(huì )看到類(lèi)似于以下內容的輸出：

genereated: A hammer is hitting a wooden surface
genereated: A noise of nature
genereated: The sound of waves crashing on the shore
genereated: A thunderstorm in the distance
genereated: Traffic noise on a busy street
genereated: The hum of an air conditioning unit
genereated: Birds chirping in the morning
genereated: The sound of a train passing by

一旦收集了 wav 音頻樣本，就可以將它們輸入神經(jīng)網(wǎng)絡(luò )以啟動(dòng)訓練過(guò)程。

就這樣。現在我們可以簡(jiǎn)單地將這些 wav 文件上傳到Edge Impulse Studio以訓練我們的模型。

使用 Edge Impulse 平臺進(jìn)行模型訓練

對于模型訓練、測試和部署，可以使用Edge Impulse Studio平臺。它是一個(gè)幾乎不提供代碼解決方案的 TinyML 框架，您無(wú)需具備良好的機器學(xué)習專(zhuān)業(yè)知識即可構建您的 TinyML 模型。

首先，創(chuàng )建一個(gè)帳戶(hù)并登錄。然后創(chuàng )建一個(gè)新項目。將樣本加載到 Edge Impulse 中的最簡(jiǎn)單方法是使用上傳數據選項。

選擇數據采集選項卡并選擇上傳數據選項，將出現以下窗口。

?

確保在標簽選項下，您在輸入標簽選項下提到了標簽名稱(chēng)。上傳您的 wav 文件。

對上傳其他班級的音頻樣本重復相同的過(guò)程。您應該確保每個(gè)音頻樣本都被正確標記并分組到各自的類(lèi)別中，以避免在訓練期間出現任何混淆。

?

我總共收集了 1 小時(shí) 19 秒的數據，這些數據可以分為三個(gè)不同的類(lèi)別。

• 未知類(lèi)
• 背景噪音等級
• Shakhizat班（我的名字）

一旦你設置了所有的類(lèi)并且對你的數據集感到滿(mǎn)意，就可以訓練模型了。在左側導航菜單中導航至 Impulse Design。

?

選擇Add a processing block并添加Audio(Syntiant) ，因為它非常適合基于Syntiant NDP120 Neural Decision Processor 的人聲應用。它會(huì )嘗試將音頻轉換成某種基于時(shí)間和頻率特征的特征，這將有助于我們進(jìn)行分類(lèi)。然后選擇添加學(xué)習塊并添加分類(lèi)。

最后，點(diǎn)擊Save Impulse 。

然后導航到Syntiant 。在此步驟中，您將從輸入數據生成特征。特征是分類(lèi)算法用來(lái)對音頻進(jìn)行分類(lèi)的獨特屬性。

?

將特征提取器設置為log-bin(NDP120/200) ，然后單擊保存參數。

?

接下來(lái)，單擊生成特征并使用特征資源管理器檢查生成的特征。每個(gè)數據樣本將根據其標簽在圖中著(zhù)色。

使用完功能瀏覽器后，單擊左側導航菜單中的分類(lèi)器項。

?

對于此項目，訓練周期數設置為200 ，學(xué)習率設置為0.0005 。

該模型具有以下結構：

?

接下來(lái)，單擊Start training以訓練機器學(xué)習模型，這可能需要一些時(shí)間才能完成，具體取決于數據集的大小。

訓練完成后，Edge Impulse Studio 將顯示模型的性能、混淆矩陣、特征資源管理器和設備上的性能細節。

?

對我來(lái)說(shuō)，準確率為 96.2%，損失為 0.12。訓練集的準確性非常好。

您可能會(huì )看到以下日志消息：

| | Total MACs: 284736                                                                                   | | Total Cycles: 24762 (time=0.0011515066964285713s @ 21.504 MHz)                                       | | Total Parameter Count: 948                                                                           | | Total Parameter Memory: 1.4375 KB out of 640.0 KB on the NDP120_B0 device.                           | | Estimated Model Energy/Inference at 0.9V: 5.56237 (uJ)

此信息很重要，因為它表明模型的內存效率以及它是否可以部署在 Arduino Nicla Voice 等資源有限的設備上。

一旦您對模型的性能感到滿(mǎn)意，就可以將它部署到您的 Arduino Nicla Voice 中了。為此，單擊 Edge Impulse Studio 中的 Deployment 菜單項，然后單擊 Arduino Nicla Voice 按鈕。

?

選擇模型后，單擊構建。

打開(kāi) Arduino IDE 串行監視器。將波特率設置為 115200。如果一切正常，您應該會(huì )看到以下內容：

如您所見(jiàn)，我們的模型表現非常好。盡管有一些錯誤分類(lèi)，但我覺(jué)得它的結果非常棒。該系統能夠將每個(gè)說(shuō)出的詞分類(lèi)為“未知”類(lèi)別。此外，它還能將口語(yǔ)單詞“我的名字”正確識別為已知單詞，并將其分配到適當的類(lèi)別。另一方面，系統將背景中的噪音識別為噪音類(lèi)別并相應地分配。

總之，該項目演示了如何使用 Edge Impulse 平臺構建音頻分類(lèi)系統并將其部署在 Arduino Nicla Voice 等邊緣設備上。通過(guò)使用包含未知聲音、背景噪聲和人名的多樣化數據集來(lái)訓練模型，我們可以創(chuàng )建一個(gè)強大的系統，可以實(shí)時(shí)準確地對音頻樣本進(jìn)行分類(lèi)。

我已經(jīng)讓公眾可以訪(fǎng)問(wèn)一個(gè)項目。有關(guān)此項目的更多詳細信息，請訪(fǎng)問(wèn) Edge Impulse。并且可以通過(guò)此鏈接訪(fǎng)問(wèn)它。

感謝您的閱讀！如果您有興趣了解有關(guān)音頻識別中機器學(xué)習的更多信息，我強烈建議您查看下面這篇文章中提到的參考資料

參考

• TinyML：在用于人工智能應用的超低功耗物聯(lián)網(wǎng)邊緣設備上啟用推理深度學(xué)習模型
• 使用機器學(xué)習和 Nicla 語(yǔ)音進(jìn)行音頻分析
• TinyML：使用 ChatGPT 和合成數據檢測嬰兒哭聲
• 一個(gè)快速的本地神經(jīng)文本到語(yǔ)音系統
• AudioLDM：使用潛在擴散模型生成文本到音頻