讓“聾人”看到聲音 行空板 —“AI助聽器”

世界上有各種各樣的殘障人士，這些人或不能說話，或聽不見聲音。聾人，是聽力因先天遺傳或后天人為因素而受損的殘疾人，也叫聽力障礙者，簡稱聽障人。根據最近的全國人口普查統計，全中國大約有2700多萬聽障人，包括弱聽、重聽、老化聾等。因為各種不方便讓其在這個世界上生活極為不方便。比如有人敲門，水龍頭忘關、孩子在臥室里啼哭，可是“聽障人”他們聽不見。利用人工智能，讓模型學習各種聲音，使用開源硬件-行空板采集聲音，通過物聯網將相應文字信息發送給Arduino主板在顯示屏上顯示并利用燈光提醒，并且利用micro:bit制作的手表進行文字、燈光加震動提醒，讓“聽障人”看見、感觸到聲音。

【音頻信號】

聲音以音頻信號的形式表示，音頻信號具有頻率、帶寬、分貝等參數，音頻信號一般可表示為振幅和時間的函數。這些聲音有多種格式，因此計算機可以對其進行讀取和分析。例如：mp3 格式、WMA (Windows Media Audio) 格式、wav (Waveform Audio File) 格式。

【語譜圖】

語譜圖是二戰時期發明的一種語音頻譜圖，一般是通過處理接收的時域信號得到頻譜圖。
語譜圖是頻譜分析視圖，如果針對語音數據的話，叫語譜圖。語譜圖的橫坐標是時間，縱坐標是頻率，坐標點值為語音數據能量。由于是采用二維平面表達三維信息，所以能量值的大小是通過顏色來表示的，顏色深，表示該點的語音能量越強。

語音的時域分析和頻域分析是語音分析的兩種重要方法，但是都存在著局限性。時域分析對語音信號的頻率特性沒有直觀的了解，頻域特性中又沒有語音信號隨時間的變化關系。而語譜圖綜合了時域和頻域的優點，明顯的顯示出了語音頻譜隨時間的變化情況、語譜圖的橫軸為時間，縱軸為頻率，任意給定頻率成分在給定時刻的強弱用顏色深淺來表示。顏色深的，頻譜值大，顏色淺的，頻譜值小。語譜圖上不同的黑白程度形成不同的紋路，稱之為聲紋，不同講話者的聲紋是不一樣的，可用作聲紋識別。

使用Librosa庫批量生成各類聲音的語譜圖，如敲門聲、水龍頭流水聲、嬰兒啼哭聲、警報聲等。Librosa是一個用于音頻、音樂分析、處理的python工具包，一些常見的時頻處理、特征提取、繪制聲音圖形等功能應有盡有，功能十分強大。

【錄制音頻】

使用pyaudio庫這個可以進行錄音，生成wav文件。PyAudio 提供了 PortAudio 的 Python 語言版本，這是一個跨平臺的音頻 I/O 庫，使用 PyAudio 你可以在 Python 程序中播放和錄制音頻。為PoTaTudio提供Python綁定，跨平臺音頻I/O庫。使用PyAudio，您可以輕松地使用Python在各種平臺上播放和錄制音頻。

【硬件制作過程】

一、行空板主控

按鈕接行空板引腳21（用于關閉提醒），LED燈接引腳22（用于亮燈提醒）。

二、“掌控板”手表

將震動馬達接“掌控寶”的M2接口，并粘在表帶上。當掌控板收到信息后，啟動震動馬達開始震動，提醒“聽障人”查看屏幕提示信息。

【訓練模型】

將圖片上傳到“英艻AI訓練平臺”進行模型訓練。類型有[size=18.6667px]“background”[size=18.6667px]、“door”、“water”。

【行空板推理】

下載模型，放到行空板程序相應目錄。

利用行空板板載麥克風采集聲音，利用matplotlib變換成圖片，使用keras加載訓練好的模型“keras_model.h5”，進行預測出聲音類型。點亮LED燈并通過物聯網發送相關信息指令。

【掌控板手表程序】

通過物聯網接收行空板傳來的指令，屏幕顯示相應信息，板載LED燈循環閃爍，并驅動馬達震動。

通過利用人工智能和物聯網技術，我們可以為聽障人士創造一個更加便利和包容的世界。通過讓模型學習各種聲音，并使用開源硬件采集聲音，我們可以通過文字信息、顯示屏、燈光和震動等方式，讓聽障人士能夠看見、感受到聲音的存在。這種技術的應用，不僅可以幫助聽障人士更好地融入社會和生活，還能提高他們的生活質量和安全感。

關于行空板—“AI助聽器”項目的詳細實現過程，請訪問DF創客社區了解更多。

上海智位機器人

上海智位機器人成立于2010年，是全球領先的從事開源硬件、機器人產品和科創教育的高科技企業，打造了DFRobot、蘑菇云科創教育等品牌，是國內最早的創客理念引入者和倡導者，創客教育的開拓者和引領者。旗下擁有中國最大的線上DF創客社區和國家級創客空間——蘑菇云創客空間，提供豐富的線上和線下學習資源，構建了一個自由、開放和富于創造力的交流空間。其Gravity產品已被全球超過100萬開發者選用。合作伙伴包括微軟、英特爾、Autodesk、霍尼韋爾、NASA、MIT等知名廠商和機構。

審核編輯 黃宇