智能眼鏡“重生”：AR芯片、AI大模型、聲效處理單元進入迭代新周期

電子發燒友網報道（文/莫婷婷）得益于與智能手機等智能設備連接、AI大模型技術加持以及用于聽障等特殊人群的功能增強，豐富了智能眼鏡的應用體驗，智能眼鏡市場正在經歷顯著的增長。其中，AR智能眼鏡市場迎來重生。IDC預計2024年中國AR市場的出貨增速預計將達到101.0%，保持高速增長。AI智能音頻眼鏡也在技術的迭代下保持增長趨勢。

從開年至今，業內已經推出了包括AR智能眼鏡以及AI智能音頻眼鏡在內的多款新品，我們將從這些新品來看智能眼鏡的技術迭代需求，以及未來發展方向。


AI大模型加持，AI+智能眼鏡成為標配

最近智能眼鏡市場最受關注的話題莫過于Meta。Meta宣布雷朋智能眼鏡（Ray-Ban Meta智能眼鏡）開始支持多模態版Llama 3，這將讓Meta AI升級為多模態 AI。內置AI大模型已經成為智能眼鏡的發展趨勢之一，從簡單的AI大模型到多模態大模型，Meta這一舉加速了智能眼鏡在AI大模型上迭代進程。

AI技術能給智能眼鏡帶來哪些交互體驗的升級呢？李未可科技AI負責人古鑒提到了三大方面，一是通過定向優化的分發大模型，實現更自然的交互，第二是通過情感大模型提供更人性的陪伴，三是通過戶外多模態大模型提供更精準的服務。

就在今年4月，AR+AI眼鏡研發商李未可科技發布了針對可穿戴設備（如眼鏡等）自研的多模態大模型平臺——WAKE-AI，已經搭載在旗下首款AI眼鏡——Meta Lens Chat上。

圖：李未可多模態大模型平臺WAKE-AI

根據介紹，WAKE-AI大模型在云端運行，具備文本生成、語言理解、圖像識別及視頻生成等多模態交互能力，賦能在AI眼鏡上，WAKE-AI將讓Meta Lens Chat眼鏡具備更強的AI語音交互能力，AI口語教學、翻譯能力。值得一提的是，隨著用戶使用Meta Lens Chat眼鏡越久，AI智能助理將能記住用戶喜好，成為更懂人的AI助手。這也將成為大多數內置AI大模型的智能穿戴設備未來的功能發展方向。

在芯片端，2023年，高通Hexagon NPU開始支持LLM和LVM，并支持Transformer。在2015年，模型只是簡單CNN，隨著大語言模型賦能的個人助手的出現，2023年之前的LLM和LVM支持100億參數，到了2023年后隨著多模態生成式AI模型的出現，將需要支持100參數以上LLM和LVM。為了讓多模態AI大模型的性能發揮出來，Ray-Ban Meta 眼鏡增加了攝像頭，能夠通過攝像頭完成交互，例如識圖功能。攝像頭以及更多傳感器的加入，對NPU的性能提出了更高的要求。


空間計算時代對AR芯片的性能需求急速提升

MR設備的下一個階段是進入空間計算時代。2023年蘋果發布 Apple Vision Pro，空間計算時代也由此到來，并加速形成。在空間計算時代，AR智能眼鏡更加強調連接能力、交互、環境感知、增強現實等技術帶來的體驗。例如AR眼鏡與智能手機或其他計算設備連接時，需要強大的連接能力，虛擬信息與現實世界的融合需要傳感器的感知能力以及增強顯示技術的加持等等。

就在4月，AR智能眼鏡品牌廠商在Rokid Open Day 2024上，發布新一代AR Lite空間計算套裝，該套裝包括Rokid Max2眼鏡和Rokid Station2主機。根據介紹，在交互方式上，AR Lite空間計算套裝支持空間觸控交互和空間射線交互兩種交互方式，觸控方式增加了多指多手勢觸控，在Station 2的觸控板上就能完成相應操作。

空間射線的交互方式讓Station2主機成為遙控器。此前，AR智能眼鏡的空間射線指針會因為時延和精準度，導致使用體驗不佳。Rokid等AR品牌廠商都在不斷優化空間射線指針的精準度。

圖源：Rokid

為了減少用巨幕玩游戲時因為抖動帶來的不適感，Rokid還為AR Lite增加運動防抖模式。此外，面向辦公、觀影、娛樂等應用場景，AR Lite空間計算套裝還具備多聯屏模式，多任務協同處理的功能。

上述功能的實現需要計算、圖形渲染、手勢追蹤、數據處理、無線傳輸等多種技術都有相關的門檻，更為重要的是，AR空間計算的實現還需要計算機視覺和AI深度學習的結合，因此強大的AR芯片在AR智能眼鏡升級的過程中越來越重要。

目前，大多數AR智能眼鏡已經與高通達成合作，采用高通驍龍平臺，例如Rokid的AR Lite、AR studio等，另外雷鳥X2 Lite也搭載了高通驍龍AR1平臺。

2022年，高通發布了首款專為AR眼鏡研發的處理器高通驍龍AR2平臺，采用分布式架構，支持九路并行攝像頭進行用戶和環境理解，帶有專用硬件加速引擎、AI加速器、重投影引擎，能夠改善用戶運動追蹤和定位、降低手勢追蹤或6DoF等高精度輸入交互時延、帶來更流暢的視頻體驗。

2023年，高通發布了全新空間計算平臺——第二代驍龍XR2和第一代驍龍AR1。第二代驍龍XR2平臺GPU性能提升2.5倍，GPU能效提升50%，AI每瓦特性能提升8倍。驍龍AR1專為AR智能眼鏡而設計，支持WiFi 7，峰值速度高達5.8Gbps，處理器搭載了第三代Hexagon NPU。拍攝性能也得到大幅提升，采用 14-bit 雙 ISP，并且增強了AI能力，提高照片和視頻的拍攝質量。


更豐富的音頻體驗，麥克風、DSP等音效處理單元同步升級

隨著應用領域越來越細分，智能眼鏡的分類也越來越多，除了上述提到的AR智能眼鏡、AI智能眼鏡，還有智能音頻眼鏡。顧名思義，智能音頻對音效體驗的要求更高。目前已經有多家品牌廠商跨界推出智能音頻眼鏡，例如業內知名的音頻和揚聲器制造商JBL。

JBL近期推出了音悅范智能音頻眼鏡耳機。做音頻設備是JBL的強項，如今跨界將其音頻能力賦能到智能眼鏡中，也可以說是毫不意外。

但是作為開放式耳機的衍生產品，智能音頻眼鏡對音效的需求也是非常高，根據介紹，JBL這款智能音頻眼鏡的發聲單元搭載了線性度賽道型驅動單元、抗風噪通話降噪技術、指向性聲場系統投送技術等，減少漏音問題。能夠用于語音會議、會議等場景。
MIJIA智能音頻眼鏡悅享版也在近期開售，采用氣傳導的開放聲場技術，搭載SLS0820超聲線揚聲器融合音腔結構算法、逆聲場結構疊加防漏膜設計、降噪功能等，并且能夠精準拾取通話人聲。

在AR/VR設備中，要實現更高的聽覺效果需要麥克風和DSP芯片等音效處理單元的共同配合，例如現在大多數智能眼鏡都標配的通話功能需要用到降噪、回聲消除等技術，聽音樂的功能更強調音效。

在上游元器件廠商中，瑞聲科技是主流玩家之一。此前，瑞聲科技發布了首款AR專用超線性揚聲器，尺寸僅為8x20x3mm，重量1.45g，適用于小型化以及重量敏感的AR智能眼鏡，振幅可以達到0.5mm，不僅解決了音損的問題，還提升了低頻靈敏度。瑞聲科技還采取開放式后腔設計，減少漏音。

樓氏電子同樣是業內知名的聲學元器件廠商，針對VR/AR設備，公司已經推出了多款DSP芯片，例如DSP芯片IA8201。該芯片具備高算力、低功耗的特點，能夠進行上行的語音通話處理、下行的音效處理。上行的語音通話處理包括降噪、回聲消除、低功耗語音喚醒等功能，下行的音效處理主要通過音效算法提升看電影、聽音樂的音效體驗。

圖：XREAL Air采用了樓氏音效處理單元（電子發燒友網攝）

小結：

IDC的數據顯示，2024年，中國AR市場的出貨增速預計將達到101.0%，保持高速增長。除了AR智能眼鏡，音頻智能眼鏡、AI智能眼鏡等更加細分的市場也將隨著市場需求出現，實現增長，在這個過程中將帶動AR芯片、AI大模型，以及聲學處理單元等上游元器件的迭代。