一種新穎的可穿戴的柔性唇語解讀系統（柔性自驅動傳感器）

訪談對象：路益嘉老師

所在單位：清華大學機械工程系設計工程研究所

研究方向：生物機械、摩擦納米發電機和集成電路裝備

柔性自驅動傳感器

柔性自驅動生物醫學傳感器指的是一類通過收集人體或周圍環境的能量和信息，無需外接電源就能滿足自身電能需求，同時具有柔性和可拉伸性的生物醫學傳感器，可應用于對人體各項生理信息和生命活動的長期監測。根據其工作環境是在人體內或體外，可以分為植入式自驅動柔性生物醫學傳感器和穿戴式自驅動柔性生物醫學傳感器。根據其設計思路的不同，又可以分為主動式和能源式生物醫學傳感器。

自驅動柔性生物醫學傳感器的電能來源于人體自身和周圍其他形式的能量，包括機械能、熱能、光能等。為了收集這些能量，基于不同原理的發電機逐漸被科學家們研發出來。目前適用于自驅動柔性生物醫學傳感器的發電機類型有：壓電納米發電機、摩擦納米發電機、熱電發電機與熱釋電發電機。

柔性自驅動傳感器在生物醫學方面的應用廣泛，可用于呼吸傳感器、脈搏傳感器、人工感覺器官、電子皮膚、智能可穿戴設備等。

路益嘉老師提出了一種新穎的可穿戴的柔性唇語解讀系統(Lip Language Decoding System, LLDS)。該系統包含低成本、自供電的柔性摩擦電傳感器和基于原型學習的深度學習模型。傳感器將唇部肌肉運動產生的電信號傳輸到解碼系統，翻譯成可溝通的語音，可幫助失去發聲能力的人實現正常語音交流。同時，由于唇部肌肉運動展現出來的個體差異顯著，該系統也可用于身份識別。

系所介紹

設計工程研究所

研究所科研工作的研究方向主要包括機械關鍵零部件設計、機械動力學與機構學、生物機械學與康復工程等方向。

在關鍵機械零部件方面，面向關鍵零部件設計技術中的重要科學基礎問題和國家在高端裝備及能源安全方面的重大需求，開展了磁流體密封、機械密封、橡塑密封、航空發動機密封、水潤滑軸承、磁懸浮軸承等多種型式高端密封和特種軸承的深入、廣泛的應用基礎研究工作。近年來，在航天航空高參數磁流體密封、核電一回路機械密封、重大裝備橡塑密封、高溫高速刷式密封關鍵技術研究方面取得了突出進展和重要應用。

在機械動力學領域，發展了轉子軸承系統非線性動力學理論，在國際上較早較系統和全面地分析了旋轉機械常見故障的動力學機理，航天器振動分析及振動抑制技術已應用于航天器設計，所開發的水輪發電機組和汽輪發電機組狀態監測和故障診斷系統已安裝在大量的機組上，為電力行業的安全生產做出了貢獻。

在生物機械學方面，開展了神經康復機器人、植入式假肢、智能假肢、人體運動協調檢測與評價等研究工作，研制成功具有自主知識產權的上肢機器人和無動力助行外骨骼，對人體運動控制功能的機制、功能評定及康復方面的研究處于國內領先水平。

01

研究您的這個領域需要專業的生物學、解剖學知識嗎？

對于肌肉的解剖學了解是非常重要的，特別是在處理需要檢測肌肉運動的情況時。每位同學在設計前都需要先去了解肌肉的解剖結構，分析肌肉的分布情況。然后才能確定傳感器的安裝位置。如果你不清楚肌肉的解剖學分布和肌肉連接的端點，那么布置的傳感器位置就可能出錯，導致測到的結果不準確或無意義。當然，這并不難，同學們可以通過查閱解剖學專業書籍來了解你所關注的部位有哪些肌肉，以及肌肉的走向分布和連接點，從而可以準確地確定待測量的肌肉分布和安裝傳感器的位置，從而有效地檢測肌肉的運動信號。事實上，經常健身的同學對于人體肌肉的解剖結構一般都有清楚的認識。

02

請問清華機械的智能與生物機械研究團隊有哪些主要的研究方向？

季林紅教授的智能與生物機械團隊主要研發智能康復機器人，適用于腦卒中患者的康復訓練。腦卒中患者具有局部腦功能障礙，通常會出現肢體癱瘓的癥狀，對他們的生活造成很大的困擾。通過康復訓練可以幫助他們恢復一部分肢體功能，能夠自己完成一部分日常生活中的事情，這將大大減輕家庭的壓力。

例如，使用上肢康復機器人幫助手部功能障礙的患者進行訓練，在大屏幕上畫圓。在訓練初期，由于患者手部無力和控制較差，機器人會主動牽引患者的手完成動作。當患者恢復一定的力量和控制后，訓練方式變為被動，讓患者自己帶動機器人完成畫圓。通過比較患者畫的圓與標準圓的差異，可以評估患者的康復情況。當患者能夠自主畫出接近標準圓的圖形時，可以認為康復訓練已經取得了較好的效果。在這個過程中，患者的力量和神經感覺控制都能逐步得到提升。

在康復過程中，使用一些智能算法可以幫助康復機器人做出更好的決策。例如，會使用傳感器來收集數據，然后根據這些數據來決定康復處方。

03

實驗室的傳感器、康復機器人目前在市場上有什么已經投入使用的產品嗎？

關于康復機器人的產品，現在不僅我校在研發，很多外單位也在開展相關工作，投入市場的產品也不少。我們團隊的產品（如上肢康復機器人，無動力助行外骨骼等）主要在康復中心和醫院測試。

我所做的研究目前主要停留在實驗室階段，用創新的想法探索更多的可能性，并探索解決問題的新技術可行性和有效性。后期會考慮開發產品。

04

您剛剛展示的唇語識別技術是可以完全理解唇語還是只能識別出特定的句子？

我們的技術只能識別特定的句子，識別但是不能理解。在句子理解方面現在有一個新的分支叫做生成性人工智能，比如現在的 ChatGPT，你說一句話，它就能理解你的意思，并據此生成合理的回復。這是一種新興的技術，而我們的方法則相對簡單，主要處理的是生活中常用的句子。

我們的訓練方法是直接采集數據，包括一些生活名詞和常用的句子信號。我們將這些數據訓練成模型。當傳感器檢測到你的口型對應的信號后，訓練模型將進一步將信號識別為具體的詞語或句子。將模型跟生成性人工智能結合，是我們未來工作的一個潛在方向。

05

對于唇形易混淆的句子，這一項技術如何做到區分辨別呢？

大部分的句子是可以直接區分識別的，現有的機器學習模型具有這個能力。如果某些句子的采集信號僅憑現有的傳感器無法識別，可以考慮添加傳感器的數量。比如當處理的數據量增加后，總會有一些詞匯的信號非常接近。通過選擇在合適的位置添加新傳感器，一般來說是可以區分這些相似信號的。

06

從之前的交流中我們感受到您的研究既有科技含量，又有人文關懷，您是如何走上這條有人文關懷的科研道路的？

大概在2018年。在 2018 年之前，我沒有過多接觸過殘疾人，也沒有與他們有過緊密的交往，測試對象主要是健全人。2018 年我們團隊承擔了為我國冬殘奧選手提供科技支撐的任務。這個任務給了我深入接觸和了解殘疾運動員的機會。

2018 年 11 月，我們科研團隊去訓練基地開展第一次調研。那次的調研經歷給我留下了深刻的印象。我們和每位運動員進行了交談，查看他們的殘障情況，了解他們的需求和困難。為了演示器材的使用情況，他們從輪椅上爬上訓練器材，我上前伸手幫忙，卻被他們笑著拒絕。我原以為他們會覺得訓練很艱辛，但實際上他們并不這么認為。雖然失去了部分肢體功能，但他們認為自己完全可以做到規定要求，精神狀態和我的預想差異很大。

調研結束的時候，我們跟隊員和教練們成了朋友，這次行程我收獲很多，一方面是對殘疾人的需求有了更實際的了解和更準確的認識，修正了之前我預設的一些想法，思考問題的時候會更多的從他們角度出發，比如易用性，低成本等；另一方面他們的意志和精神打動了我。每當我遇到困難時，我就會想想他們。

審核編輯：黃飛

?