智能交互手部康復機器人講解 人機交互新視野肌電交互

智能交互手部康復機器人

一、產品概述

智能交互手部康復機器人是以手部康復外骨骼為被控對象，配備簡潔的人機交互界面，采用模塊化設計理念，具有理實一體、操作簡單、易于擴展等特點，極大的提高師生的參與程度，為腦卒中患者提供多用途、層次豐富、安全易用、易于擴展的肌電交互系統。該系統融合了 UI交互界面、嵌入式控制器、肌電手環、手部康復機器人系統，提供基于 python 語言的統一框架，方便操作者的使用和二次開發，為用戶提供完整的手部康復機器人教學科研環境。

二、產品特色

?

可穿戴：傳統的人機交互方式如鍵盤、鼠標等不方便攜帶，不適合便攜式人機交互。而基于表面肌電的人機交互方式通過采集人體皮膚表面的微弱的生理電信號，實現對意圖指令的解碼。肌電手環具有便攜性，可以穿戴在手臂上，便于實際場景中實時人機交互。

?

智能識別：表面肌電信號是一種時變的、易受干擾的非平穩信號，如何準確的識別出人體運行意圖至關重要。通過對原始信號進行濾波，提取時頻域統計學特征，使用人工智能算法來識別出人體的意圖，進而控制手部機器人執行相應的動作。

?

一體化框架：該系統融合了 UI 交互界面、嵌入式控制器、肌電手環、手部康復機器人系統，提供基于 python 語言的統一的框架，方便操作者的使用和二次開發，整體流程框架圖如下圖所示。整體框架圖

三、系統性能參數

智能交互手部康復機器人基于嵌入式處理器樹莓派，實現 UI 交互模塊、信號處理與識別模

塊、系統控制模塊的集成。

1、交互界面

（1）主界面

智能交互手部康復機器人可以實現被動康復訓練和主動康復訓練兩部分功能，交互主界面

如下圖所示，可以通過點擊對應圖片選擇相應的功能。

交互主界

（2）被動訓練界面

被動訓練可以自主設置訓練次數，動作時間和休息時間，同時也設置了五指分別運動以及

張手、握拳、捏手指和伸手指四個常用動作，通過調節伸長量來控制手部張開和閉合的幅度。

被動康復訓練界面如圖所示。

被動康復界面

（3）主動訓練界面

實現主動訓練首先要采集患者的肌電數據，通過在動作列表中選擇訓練的動作進行數據采

集，將采集完兩輪的數據進行模型訓練，訓練好后即可實現主動訓練。主動康復訓練界面如圖

所示。

主動康復訓練界面

按下開始采集按鈕，會顯示當前需要做的動作。按下模型訓練按鈕，會自動對采集的 sEMG

信號進行處理，建立分類識別模型。模型建立后，按下開始訓練按鈕，做出相應動作，會控制康復手同時做出相同動作，實現主動康復功能。如在訓練時感受到疲憊，可按下停止訓練按鈕

暫停訓練，在適當休息后，也可以再次點擊開始訓練按鈕重新訓練，最后點擊返回按鈕，會退

出主動康復訓練界面，返回主界面。

（4）動作選擇界面

動作選擇界面包含多個訓練動作，包含握拳，張手，OK，數字 1 到 10，捏指等?？梢赃x

擇自己想做的動作進行訓練，同時也可以隨時增加或刪除新老動作。動作選擇界面如圖所示。

動作選擇界面

2、信號處理與模式識別

采用統計學特征和機器學習的方法，從非平穩、高噪聲的肌電信號中解碼出人的動作意圖。

首先佩戴肌電手環，然后根據上位機界面來做出相應的動作，同時采集肌電數據，之后對數據

進行降噪、特征提取和識別，解碼出人體的運動意圖。算法處理流程如下圖所示：

信號處理與模式識別

3、相關硬件參數

手部康復機器人控制系統：1）整體：包括藍牙模塊、運動控制模塊，實現多種手勢的實時手部機器人控制?？梢钥焖?/span>

搭建手部機器人研究平臺，支持控制算法和特征工程處理的快速開發

2）工作技術參數：

開發方式：Python

工作范圍：2m*2m

工作環境溫度：室溫溫度

驅動方式：直流電機驅動

工作采樣頻率：50HZ

控制模式：位置，速度

實驗工程及 demo：提供實驗工程及 demo

微型直線伺服驅動器：

1）小體積、高功率密度、高重復定位精度；

2）內部集成了微型電機、減速器、絲桿機構、傳感器以及驅動控制系統，集成度

高；

3）接口豐富：

電氣接口：具有 LVTTL3.3V 串口（D 型）和 PWM（

P 型）兩種接口。D 型接口的驅動器

可以配置地址編號（

ID），多個不同 ID 的驅動器可以通過串口總線控制。P 型接口的驅動器兼

容標準舵機接口，支持 50HZ 和 333HZ 兩種頻率的 PWM 控制信號

機械接口：具有豐富的接口方式可選，方便用戶安裝使用

4）寬電壓：DC6V～9V 寬電壓范圍供電，建議供電 8V，斷電后不會丟失位置信息

5）具備過熱、過流保護功能

樹莓派 3B+：

1）64 位的 1.4GHz 四核 ARM Cortex-A53

2）1GB 內存和千兆以太網 (最大吞吐量 300Mbps)

3）IEEE 802.11.b/g/n/ac 雙頻 2.4GHz/5GHz 無線網卡

4）低功耗藍牙 4.2 (BLE)

5）HDMI 接口、PoE 接口和四個 USB 2.0 接口

6）MicroSD 卡插槽7）3.5 mm 音頻輸出接口

8）40PIN GPIO 接口

Myo 肌電手環：

1）手臂尺寸可在 7.5-13 英寸(19-34 厘米)前臂周長之間展開

2）8 個醫用級不銹鋼肌電圖傳感器

3）重量: 93g

4）1 個包含三軸陀螺儀、三軸加速度計、三軸磁強計的九軸 IMU

5）短、中、長振動的觸覺反饋

6）ARM Cortex M4 處理器

7）雙指示燈 LED 使用藍牙智能

8）micro-usb 充電，內置可充電鋰離子電池一次性使用一整天

9）1 個肌臂帶 1 根標準 micro USB 電纜

10）1 個藍牙適配器，用于 Mac 和 Windows PC 連接

11）10 個 MYO 尺寸夾

12）1 個開放的、免費的、有原始數據可用的 SDK

康復手：

剛性手部外骨骼采用 3d 打印材質，配合金屬零件共同組裝而成；并配用樹脂材料打印的控

制盒，盒內集成了樹莓派和電源線、HDMI 走線等，可以實現樹莓派的開關及急停功能

四、配套實驗內容

模式識別基礎實驗：

1

模式識別導論

理解模式識別的定義，了解課程學習目標、學習內容和學習方法，

激發學習動力和學習興趣。

2

模式識別基礎

理解模式識別的基礎概念：包括特征與特征空間、有監督學習與

無監督學習、緊致性、維數災難、泛化能力與過擬合。

3

模式識別系統

解模式識別系統的一般結構，并理解各個環節的主要任務4

線性分類器

理解線性分類器的基本原理：包括線性判別和廣義線性判別，多

分類線性判別函數和線性判別函數的幾何意義

5

支持向量機

理解支持向量機的原理，并能編程實現支持向量機去解決簡單的

模式識別問題。

6

感知器算法

理解感知器算法的原理，并能編程實現感知器算法去求解線性分

類器。

7

貝葉斯分類器

理解貝葉斯分類器的原理，并能夠編程實現貝葉斯分類器。

8

k 近鄰算法

理解 k 近鄰算法的原理，并能夠編程實現 KNN 算法。

9

特征降維

理解特征降維的基本概念，理解特征降維的主要方法，并能夠在

解決模式識別問題的過程中加以應用

10

聚類算法

理解數據聚類的基本概念、特點和聚類算法的一般流程，理解常

用數據聚類算法的原理，包括試探法聚類、層次法聚類和動態聚

類。

11

組合分類器

理解組合分類器的原理，理解 Adaboost 算法和隨機森林算法的

基本原理，并能夠編程實現這兩種算法來解決模式識別問題。

12

神經網絡分類器

理解人工神經元網絡的基本概念和用于模式識別的基本原理，理

解 BP 算法的原理，并能夠編程實現 BP 算法

模式識別高級實驗：

1

sEMG 特征提取

學習提取原始數據的時域、頻域和時頻域等常用特征，將原始數

據提煉為特征供分類模型使用。

2

sEMG 特征降維

學習主元分析（

PCA）、線性判別分析（

LDA）、獨立元分析（

ICA）

等常用降維算法，采用降維算法降低 sEMG 特征。

3

神經網絡算法

理解神經網絡算法的原理，進而對深度神經網絡和卷積神經網絡

有所學習，并能通過編程解決動作識別和康復評估的問題。

4

支持向量機

理解支持向量機的原理，用于解決動作識別的問題。

5

組合分類器

理解 GBDT 算法和隨機森林算法的基本原理，并能通過編程實現

這兩種算法來解決模式識別問題sEMG 信號處理實驗：

序號

實驗名稱

課程內容

1

sEMG 概念

了解 sEMG 信號的概念，了解課程學習目標、學習內容

2

sEMG 采集

學習 sEMG 信號采集方法。

3

sEMG 特征提取

學習 sEMG 特征提取方法，了解常用的 sEMG 時域特征、頻域、

時頻域特征。

4

sEMG 特征選擇

學習過濾式、包裹式、嵌入式等特征選擇方法，降低 sEMG 特征。

5

建立動作分類模

型

學習隨機森林、神經網絡等常用分類算法，通過 sEMG 進行動作

分類。

6

動作在線識別

學習使用建立的分類模型進行在線識別。

7

建立康復評估模

型

學習深度、卷積神經網絡等常用分類算法，建立合適的康復評估

模型。

8

評估患者康復等

級

通過評估模型對患者進行康復等級評估，適時調整患者的康復方

案。

五、平臺配置清單

產品名稱

產品型號

平臺配置

智能交互手部康復機器人

Robot-HRb

智能交互系統

定制

剛性康復手

定制

顯示屏

維辰思系列

樹莓派

3b+

電機

因時 LA-16 型

肌電手環

8 通道 MYO