XR廠商混戰AI技術，樓氏電子聲學元器件如何破局音頻技術難點

2023年上半年，多家AR/VR廠商相繼發布新品。隨著技術的成熟，以及消費者需求升級，如今的VR頭顯、AR智能眼鏡不只帶有娛樂功能，應用場景拓展至教育、醫療、交通、旅游等多個領域。多位業內人士認為，AR智能眼鏡是最有可能取代智能手機的消費品。

進一步需要思考的是，什么樣的AR智能眼鏡能成為智能手機之后的第二大電子產品呢？另一方面，今年Q1中國VR/AR市場出現下滑，性能提升成為VR/AR帶動XR市場上升的關鍵，為此多家廠商相繼發力音質、畫質技術。針對VR/AR設備的技術迭代方向以及市場趨勢，電子發燒友網與樓氏電子AISONIC DSP部門業務負責人廖彬彬 (Robin Liao) 就VR/AR設備的聽覺體驗進行了深度的交流。


音效處理單元在AR設備中做了哪些工作

視覺效果和聽覺效果是AR/VR設備最重要的兩大體驗。Robin表示在聽覺效果方面，一是需要注意音效，二是在使用AR設備時會用到的通話功能，“語音通話能不能比較好地上傳到設備里面，并且在語音通話中需要降噪，回聲消除等技術，這些功能的實現都需要用到麥克風和DSP芯片”。

一般而言，VR頭顯或者AR智能眼鏡需要用到什么樣的技術取決于它要實現哪些功能。就拿VR/AR最基礎的游戲功能來講，沉浸式是最重要的音效體驗之一。為了實現更加豐富的聲場，“雙降噪麥克風陣列”“立體雙揚聲器”成為品牌廠商發布會上的關鍵詞。

例如AR智能眼鏡廠商XREAL（原名Nreal）在去年推出的XREAL Air帶有立體雙揚聲器，搭配雙降噪麥克風陣列，可以帶來沉浸式空間聲場。部分戰術競技游戲對音頻細節的要求比較高，比如近期較為火爆的騰訊游戲《絕地求生》，能否清晰地出現腳步聲對游戲玩家來說是決定勝負的關鍵。

聽覺效果是AR/VR設備感知體驗的另一個重要感知。那么，VR頭顯和AR智能眼鏡分別需要怎么樣的音頻系統？

從使用場景來看，VR頭顯一般用于游戲場景會比較多，因此對音效的要求比通話的要求高，相對應的是，對音頻輸出的要求也會更高，對音頻的上行要求相對較低。另一方面，VR頭顯的體積比AR智能眼鏡要大，因此低功耗的要求也就相對沒有那么強。

再來看AR智能眼鏡的特點，一是因為設備體積問題，所以對麥克風、DSP等元器件的低功耗要求都比較高；二是聲學元器件小型化；三是在使用場景上，一般AR智能眼鏡更多會用來看電影、聽音樂、接收信息，甚至是打電話等，在通話過程中對降噪等技術有更高的要求。

那么，麥克風等聲學器件與降噪算法等音頻技術之間可以怎么配合實現聲音的處理呢？以AR智能眼鏡為例，Robin表示，樓氏電子已有量產的DSP芯片，配合上行算法，能夠實現高清的通話質量。

此前在電子發燒友網的拆解中，發現XREAL Air（原名Nreal Air）音頻處理單元采用了全向MEMS麥克風的降噪設計，用以消除周圍環境中的回聲與噪聲。XREAL Air一共使用了兩顆音頻處理芯片，其中一顆采用的是樓氏電子的DSP芯片IA8201。

圖：XREAL Air音效處理單元
（電子發燒友網攝）

Robin介紹，IA8201在XREAL Air上需要做兩件事：一是上行的語音通話處理。例如打電話時的拾音，然后把這個聲音清晰地傳遞給對方，此時DSP需要做降噪、回聲消除，甚至是低功耗語音喚醒等功能。二是下行的音效處理，樓氏電子與合作伙伴合作，在DSP芯片IA8201中加入了音效算法，用以提升AR智能眼鏡在看電影、聽音樂的音效體驗。

應用在AR設備上的DSP芯片需要具備高算力、低功耗的特點。一是因為DSP芯片要運行音效算法，需要算力足夠強大。二是因為AR設備的很多AI應用不接電源，對低功耗有更大的要求。IA8201正好滿足這兩大方面的要求。

對于VR設備，Robin表示很多VR設備在聽覺效果上的需求跟AR智能眼鏡是重復的。因此上述提到的針對AR智能眼鏡的解決方案也能用于VR設備上。不一樣的是VR設備對輸出音效的要求會更高，另一方面VR設備有更大的空間去裝音效處理單元。

作為業內知名聲學元器件廠商，樓氏電子推出的動鐵單元能夠更好的應用于VR設備中，并且提升VR設備的聽覺體驗。動鐵單元能夠提升中高頻的音質、高采樣率的音質，并且實現無損音質傳輸。同樣，VR設備也需要用到音效算法，通過DSP芯片+動鐵單元的組合，在DSP上加入算法，能夠在一定程度上提升整體的音質。

XR品牌廠商混戰AI技術，音效提升有哪些技術難點

從去年至今，業內發布或者曝光的VR設備和AR智能眼鏡新品不在少數。電子發燒友網整理了2022年至今發布的部分AR智能眼鏡新品，從這些新品可以發現兩大趨勢：

一是在AR智能眼鏡中加入攝像頭成為新的趨勢，這些攝像頭能夠帶來手勢交互、混合現實錄制等更多的功能，例如李未可的Meta Lens S1加入了120°廣角+800 萬主攝像頭，XREAL Air加入了雙目SLAM攝像頭+RGB攝像頭，Rokid Max Pro加入了單攝像頭。

二是AR智能眼鏡的人機交互升級，從支持語音交互，到SLAM 手勢交互，再到AIGC出現，加入了AI數字人的交互方式。在今年MWCS 2023年期間，中興旗下品牌努比亞推出nubia Neo Air正是加入了AIGC，通過接入GPT模型能夠實現語音助手聊天、語音查資料等功能。

圖：部分AR設備廠商產品情況
電子發燒友網根據公開資料制圖

毫無疑問，不管是VR設備還是AR設備，聲學元器件都在終端升級過程中出現了新的挑戰，一是低功耗，這幾乎是所有電子產品的追求；二是在有限的設備空間中，麥克風、動鐵單元等元器件需要在小尺寸的同時，滿足VR/AR設備對音質的要求。那么，樓氏電子有哪些解決方案可以應用新的技術要求呢？

在低功耗方面，VR設備、AR智能眼鏡的AI功能需要芯片有更高的算力以及低功耗水平。Robin舉了個例子，在佩戴AR智能眼鏡玩游戲過程中，想通過AI喚醒的功能打電話，此時就需要做到低功耗待機，又要用比較高的效率接收喚醒的信息。這些功能都需要一顆低功耗的DSP來實現。

在小型化方面，樓氏電子的動鐵單元比普通的聲學元器件都要小，例如RAN-33860-B148的尺寸僅為5.1×2.8×2.0mm。此外，樓氏電子還推出了智能麥克風IA-610和IA-611，由MEMS麥克風和DSP整合在一個超微型封裝，尺寸跟一顆麥克風的大小一樣?！叭绻蛻魧臻g有極限的要求，放不了DSP，但又需要DSP做簡單的語音處理，采用智能麥克風就能最大化節省空間，并且降低客戶整體成本?！盧obin表示。

面對AR/VR設備的市場需求，樓氏電子圍繞音頻DSP、MEMS麥克風、動鐵單元三大產品線推出完整的音頻解決方案，也就是說除了元器件之外，樓氏電子還有完整的軟件和算法?！叭绻K端客戶的產品側重在通話處理，可以選擇音頻DSP+MEMS麥克風的解決方案，如果側重于音效體驗，可以選擇音頻DSP+動鐵單元的解決方案?！鄙鲜鎏岬降腎A-610智能麥克風就是一個開放式的DSP平臺，能夠讓合作客戶快速推出定制化功能。