視覺驅動超構表面在感知增強中的應用

超構表面（metasurface）在調控電磁（EM）波方面表現出前所未有的自由度，從而為智能系統提供了出色的前端接口。

據麥姆斯咨詢報道，近日，第四軍醫大學、中國人民解放軍空軍工程大學、東南大學、蘇州國家實驗室航空航天超構材料實驗室、新加坡國立大學（National University of Singapore）、北京理工大學、西安交通大學第一附屬醫院的研究人員組成的團隊在Nature Communications期刊上發表了題為“Vision-driven metasurfaces for perception enhancement”的論文，提出了一種基于視覺驅動超構表面的感知增強架構。人類的眼球運動與微波輻射相匹配，從而擴展了人類的感知譜。通過這種方式，人們的眼睛可以“感知”視覺信息和不可見的微波信息。

上述科研團隊給出了一些具體實施的實驗演示，包括生理信號監測系統、“X射線眼鏡”系統、“一瞥即忘”追蹤系統和聾人語音接收系統。模擬和實驗結果均驗證了其在感知增強效果和提高信息獲取效率方面具有明顯的優勢。該架構可輕松集成到醫療保健系統中，用于監測生理信號并為殘疾人士提供幫助。這項工作為感知增強提供了一種替代架構，并有望在醫療保健、可穿戴設備、搜索和救援等領域得到廣泛應用。

感知增強系統的架構

研究人員通過多種手段的組合提出了一種智能超構表面系統架構，如圖1a所示。眼球追蹤眼鏡是一種可穿戴解決方案，用于捕獲認知負荷和觀看行為的客觀測量數據，非常適合以所需的空間和時間分辨率提供可靠的眼球運動數據。當用戶佩戴眼球追蹤器并運行程序時，可以提取相關的眼球運動數據，包括凝視點、眼球掃視、眨眼等。在此基礎上，利用數據處理程序可對眼球運動原始數據進行處理。通過對感興趣區域（AOI）和受試者狀態（例如注意力）的分析，識別出需要追蹤或感知增強的區域，從而為可編程超構表面的調控奠定了基礎。

可編程超構表面伴隨著數字編碼特征，其中電磁響應由數字編碼序列調控。借助現場可編程門陣列（FPGA）和數模轉換（DAC）模塊，當施加在二極管上的電壓變化時，數字編碼序列也會相應改變，從而調整輻射角度。因此，根據AOI和受試者的狀態，算法可以自行確定超構表面的反應，并指示FPGA改變可編程超構表面配置，然后確定數字編碼序列。通過這種方式，研究人員可以調整可編程超構表面的不同功能，以實現良好的定向輻射波束形狀和其它智能功能。此外，通過透明介質襯底和金屬網格模式，所提出的超構表面結構可以實現較高的可見光透射率。它使超構表面能夠集成多個頻段的信息，以及實現眼睛（可見光）和超構表面（微波）的整合。

眼球運動的自主光束調控

研究人員提出了一種基于眼球運動的輻射波束調控方案，即使用眼球追蹤器使照射電磁波的方向隨著眼球運動而變化。這種方法實現了自主、靈活的波束調控，為微波探測奠定了基礎。

在這項研究工作中，研究人員設計了一種輻射型可編程超構表面。設計的超構表面由16 × 16個單元構成，總面積為240 mm × 240 mm。

圖1 基于視覺驅動的超構表面及其電磁特性的感知增強系統

為了全面掌握單元的輻射光譜，研究人員使用CST Microwave Studio模擬了單元在正電壓和負電壓下的輻射相位，如圖1b所示。圖1c-1g展示了使用不同編碼序列在代表性掃描角度下的實驗遠場輻射圖。從上述圖中可以觀察到，形狀良好的定向輻射波束以非常高的指向穩定性被激發，并且超構表面具有將電磁輻射擴展到二維空間的能力。

接下來，研究人員將眼球運動過程與超構表面相結合，實現自主電磁波束調控。在實驗中，他們研究了眼球在一段時間內注視不同位置的目標的場景。

圖2 不同編碼模式下的凝視點、眼球圖像和測得的超構表面遠場輻射光譜

實驗結果如圖2所示，圖中說明了上半部分空間中的凝視點和眼球圖像與下半部分空間的遠場散射模式測量值之間的關系。圖2a-2e分別對應于圖1c-1g。利用這種調控方法，研究人員成功地將視場與超構表面微波輻射結合起來，彌補了視覺感知的局限性，為微波探測奠定了基礎。

“X射線眼鏡”：可視多目標呼吸、心跳檢測

為了提高人類的感知能力，研究人員提出了一種高效、智能的感知增強途徑——X射線眼鏡，其通過超構表面將視覺信息與人體生理信息關聯起來。該實驗是對自由空間中多個人類目標的呼吸和心跳信號進行檢測。觀察者不僅感知到目標的視覺圖像，還能感知到其不可見的生理信號，例如呼吸和心跳。

圖3 兩位坐在（-28°，28°）位置的受試者的呼吸和心跳信號檢測

兩名受試者的呼吸和心跳檢測實驗結果如圖3所示。實驗結果表明，兩名受試者的呼吸和心跳周期與參考信號匹配良好。此外，通過眼球運動改變電磁波的方向，可以在物理層面上很好地分離不同方位角的不同受試者的呼吸和心跳信號。

“X射線眼鏡”：木板障礙物后面的人體位置和運動檢測

該實驗是對障礙物后面的人類受試者進行位置和運動檢測。該方法不僅可以檢測隱藏人員的準確方位，還可以檢測其運動模式。

如圖4a-4c所示，在方位角28°處檢測到了明顯的呼吸信號，這表明該方向存在人類受試者。實驗結果表明，超構表面測量到的呼吸信號與使用接觸式呼吸帶獲得的呼吸信號高度吻合。另外兩個方位角則沒有檢測到呼吸，這與實際的實驗設置相符。圖4d-4f顯示在所有三個方向上均檢測到呼吸信號，這意味著在所有三個方向上都能定位人類受試者。上述結果驗證了人體位置檢測方法的有效性。

研究人員以方位角為28°的人類目標為例，驗證其運動檢測性能。圖4g–4j顯示了所獲得的四種平板后人體運動的微多普勒特征。

與呼吸檢測一樣，當檢測特定方位角的人類運動時，超構表面發射的窄波束可以排除來自檢測空間中其他位置的干擾，這使其能夠在多個人類目標（運動中）共存的真實檢測場景中魯棒地運行。通過這種方式，人體的位置和運動可以在觀察者無法直接看到的情況下進行檢測，即觀察者擁有一副X射線眼鏡。

圖4 平板障礙物后人類受試者的位置和運動檢測

最后，研究人員還演示了“一瞥即忘”超構表面智能目標追蹤系統、聾人無障礙語音采集和增強系統。

綜上所述，這項研究提出了基于視覺驅動的超構表面概念，并在此基礎上提出了一種感知增強的架構。通過將眼球追蹤器和可編程超構表面相結合，建立了一種從受試者意識到超構表面模式的新型調控方式。研究人員提出了一種用于調整輻射光束的智能超構表面以闡明上述概念。所提出的智能超構表面平臺嵌入了人類視覺感知，能夠有效地響應不斷變化的AOI和受試者狀態。在此基礎上，研究人員演示了具有不同功能的典型方案，包括生理指標監測系統、X射線眼鏡系統、“一瞥即忘”追蹤系統和面向聾人的醫療保健系統。

與傳統方法相比，該平臺融合了信號處理、計算機視覺、電磁等技術手段。智能平臺引入超構表面使人類具有更強的信息獲取、處理和感知能力。對光學、微波等多波段信息的感知彌補了人類視覺在被遮擋情況下的不足。該方法可以幫助人類識別感興趣的目標并輔助目標追蹤。此外，通過利用人類的視覺感知和判斷能力，所提出的方法使超構表面及其智能平臺具有更多的自由度和更先進的功能，為超構表面提供了新的定義，并為認知和智能超構表面的實現奠定了基礎。

審核編輯：黃飛