如何提升沉浸感?如何提升空間音頻體驗?頭部跟蹤功能RealSpace解決方案

音頻已成為我們使用媒體時沉浸感和逼真度的重要組成部分。當前的技術正在加強各種體驗本身的沉浸式體驗，讓它們更加栩栩如生，但如果沒有頭部跟蹤，由于大腦無法解決這種關鍵的含糊不清問題，這種沉浸感可能會被破壞。

試想一下，您正在街上走路，突然聽到右側有人喊您的名字。您將頭轉向那個方向。此時，喊您的人就在您的視線前方。但是，當他們再次喊您的名字時，盡管您已經轉了頭，但聽起來聲音仍然像是從您的右側傳過來。事實上，無論您做什么或如何轉頭，無論喊您的人在什么方位，您聽到的聲音都始終從您的右側傳來。這不符合現實世界的規律。

再或者，如果您在玩開放世界的奇幻電子游戲，您的角色正在探索山頂上的寶藏，情況會怎樣？游戲告訴您，您的任務目標，也就是埋藏的寶箱，將開始發出叮當聲，越接近寶箱，聲音就越大。您可以聽到叮當聲，但您無法確切分辨聲音是來自前方還是后方。當您走動時，您無法分辨聲音是變得越來越大、越來越小還是保持不變。那么，您要如何才能找到自己的目標呢?

之所以會這樣含糊不清，原因也是一樣：當您的頭部移動，并且改變其相對于聲源的位置時，您的大腦會漏掉現實生活中的細微音頻提示。

音頻已成為我們使用媒體時沉浸感和逼真度的重要組成部分。當前的技術正在加強各種體驗本身的沉浸式體驗，讓它們更加栩栩如生，但如果沒有頭部跟蹤，由于大腦無法解決這種關鍵的含糊不清問題，這種沉浸感可能會被破壞。如果您希望獲得廣泛、引人入勝且令人興奮的體驗，那么在沒有頭部跟蹤的情況下，您的體驗將很難達到理想的水平。

我們如何定位現實世界中的聲音

對于我們感知周圍環境并與之互動的能力而言，聲音是不可或缺的一部分。在讓我們的大腦快速準確地識別聲音的位置和來源方面，我們的兩只耳朵發揮著至關重要的作用。例如，來自人左側的聲音會先到達左耳，然后再到達右耳，這稱為雙耳時間差(ITD)。由于聲音到達右耳需要經過額外的距離，兩只耳朵的聲壓水平也會有差異，這稱為雙耳聲級差(ILD)。

確定聲源位置（方向和距離）的過程稱為聲音定位。但是，我們的聽覺系統不僅包括耳朵，還包括大腦、頭部、肩部等。聲波在到達耳膜之前，會與我們的頭部、肩部以及耳朵的耳廓和耳道相互作用。聲波與我們聽覺系統解剖結構各個部分的相互作用會導致不對稱反射，從而導致聲源頻譜發生變化。

耳朵從空間中的一點接收聲音的這一過程可以用頭部相關傳輸函數(HRTF)來表征。HRTF測量聲音在最終進入耳道之前在人的頭部、肩部和耳朵上的散射和反射方式所引起的聲音變化。每個人都有一個獨特的HRTF，具體取決于其聽覺系統的解剖結構。

大腦利用雙耳時間差(ITD)、雙耳聲級差(ILD)和頻譜內容差異來定位聲音。我們的大腦會持續不斷地實時處理所有這些信息，以生成并填充我們周圍環境的聲音地圖。這不僅包括您的左側和右側，還包括您的前方和后方，以及上方和下方。這會涵蓋您周圍的全部空間，包括距離。

用音頻創造沉浸感

這里我們將引入空間音頻的概念。簡而言之，這是一個寬泛的總括性術語，用于描述各種音頻播放技術，利用這些技術，我們能夠在三個維度上感知和體驗環繞聲。

例如，在家庭影院中設置傳統的5.1或7.1環繞聲揚聲器。這是許多人都擁有并十分喜愛的一種設置。但是，這種設置具有以下缺點：

1.需要高質量的揚聲器，其價格可能相當昂貴；

2.擁有一間聲音效果足夠好或經過聲學處理的房間，以便能夠充分享受這些揚聲器的效果（而不會打擾鄰居?。?；

3.需要專業知識來優化該房間中這些揚聲器的性能。

傳統頭戴式耳機、頭戴式配麥耳機和耳塞式耳機的另一個問題是，它們往往會給人一種所有聲音都源自頭部的感覺?？臻g音頻技術通過以下方式解決了這兩個問題：

1.支持我們創造沉浸式、引人入勝和逼真的聲景，同時可輕松應用于頭戴式耳機、頭戴式配麥耳機和耳塞式耳機，從而大大降低了入門門檻，提高了易用性；

2.支持我們將聲音外化，并為聽眾創造沉浸式聲景。這使我們解決了傳統頭戴式耳機、頭戴式配麥耳機和耳塞式耳機的一個基本問題，聲場隨您一起移動，而當我們收聽外部揚聲器或與周圍現實世界互動時，就不會發生這種情況。

沉浸感是如何被破壞的

試想一下，您正在馬路的人行道上行走，一輛汽車在您的左側按喇叭。如果您轉頭看向汽車，這輛鳴笛的汽車現在應該就在您視線正前方。聲場相對于外部世界保持靜止，改變的是您頭部的方向。好了，讓我們再來試想一下，您正在戴著耳機觀看電影，在電影中，一輛汽車在您的左側按喇叭。如果您朝該方向轉頭，聲場將會隨您一起移動，因為聲場與耳機鎖定，所以不會根據您的頭部運動改變聲音。這與現實世界發生的情況形成鮮明對比，也是導致頭部聲場崩潰、沉浸感被破壞的根本原因之一。

▲圖1：未啟用頭部跟蹤的空間音頻

另一個可能出現的問題是前后混淆。我們人類不太擅長區分與每只耳朵等距離的兩個相同聲音，即使一個聲音在我們前面，一個在我們后面，特別是如果聲音來自錐形混淆區。錐形混淆區是一種從頭部中心向外延伸的想象錐形區域，因此，位于該錐形區圓形底部軌跡各點上的任何聲源都與耳朵等距。請參閱此示意圖：

▲圖2：錐形混淆區

從該圖中可以看出，兩個聲源A和B都位于錐形混淆區上，距雙耳的距離相等。因此，盡管一個聲源在前面，一個在后面，但它們產生相同的ITD和ILD，因此很難區分和定位，從而會導致前后混淆。

通過移動頭部體驗真實聲場

現在，如果我們在這種等距混淆局面中添加頭部跟蹤器，情況會怎樣？通過添加頭部跟蹤器，空間處理便可以解析頭部相對于聲場虛擬中心的運動，并根據頭部運動調整ITD、ILD和HRTF。這使聲場能夠固定在空間中。當您將頭部轉向某個聲音時，您會聽到該聲音位于您的前方。這些對細微動作的精確響應不僅是解決前后混淆問題的關鍵因素，也是創造沉浸式用戶體驗的關鍵因素。

試想一下，您正在玩一款高度沉浸式虛擬現實的第一人稱射擊游戲(FPS)。您加載并進入一個外星飛船關卡，那里一片漆黑，沒有一絲光線，而且還有外星人在您周圍四處走動。如果您聽到的腳步聲恰好源自于錐形混淆區，那么將很難進行定位。但是，如果使用了頭部跟蹤器，您頭部的細微動作以及實時向您大腦提供的信息將會極大地解決前后混淆問題，讓您能夠準確定位那些外星人的腳步聲。

▲圖3：啟用頭部跟蹤的空間音頻

同樣，在沒有視覺提示的情況下，我們也難以衡量聲源的高度。如果您使用揚聲器（配置了環繞聲）或傳統耳機，則很難感受到在您上方的聲源?？臻g音頻技術可以創建和渲染必要的濾波器和線索，支持用戶感知高度。在混音中添加頭部跟蹤器，再次強調一下，頭部的細微動作以及聲景對這些動作的反應方式將幫助您準確定位躲藏在上方通風井中的外星人！瞧，您成功通過了可怕的外星飛船黑暗關卡。做得好！

乏善可陳還是一鳴驚人？

如果沒有頭部跟蹤功能，您的音頻體驗的逼真度和沉浸感將大大受限。通過該功能，我們不僅能夠將聲音外化，防止頭部聲場崩潰，還能在我們周圍的三維空間準確將其定位，從而解決諸如前后混淆等含糊不清問題。

如果您對這項技術感興趣，希望增強您的可聽戴設備，不妨了解一下我們的RealSpace解決方案！RealSpace是一款搭載了頭部跟蹤技術的多聲道、雙耳渲染引擎，可帶來真正的沉浸式體驗。RealSpace能夠直接在TWS或音頻耳機上將單聲道、立體聲、多聲道或環繞聲音頻內容渲染為雙聲道空間音頻。

RealSpace可應用于多種平臺，包括個人電腦/筆記本電腦、手機、VR/AR設備以及用于耳機或TWS的嵌入式DSP。RealSpace基于精確的物理環境建模，可營造令人難忘的沉浸式音頻體驗。

本文作者：Kaushik Sethunath, Audio Test Engineer and Content Developer, CEVA

關于CEVA

CEVA是排名前列的無線連接和智能傳感技術以及集成IP解決方案授權商，旨在打造更智能、更安全、互聯的世界。我們為傳感器融合、圖像增強、計算機視覺、語音輸入和人工智能應用提供數字信號處理器、人工智能處理器、無線平臺、加密內核和配套軟件。這些技術與我們的Intrinsix IP集成服務一起提供給客戶，幫助他們解決復雜和時間關鍵的集成電路設計項目。許多世界排名前列的半導體廠商、系統公司和OEM利用我們的技術和芯片設計技能，為移動、消費、汽車、機器人、工業、航天國防和物聯網等各種終端市場開發高能效、智能、安全的互聯設備。

我們基于DSP的解決方案包括移動、物聯網和基礎設施中的5G基帶處理平臺；攝像頭設備的高級影像技術和計算機視覺；適用于多個物聯網市場的音頻/語音/話音應用和超低功耗的始終開啟/感應應用。對于傳感器融合，我們的Hillcrest Labs傳感器處理技術為耳機、可穿戴設備、AR/VR、PC機、機器人、遙控器、物聯網等市場提供廣泛的傳感器融合軟件和慣性測量單元 (“IMU”) 解決方案。在無線物聯網方面，我們的藍牙(低功耗和雙模)、Wi-Fi 4/5/6/6E (802.11n/ac/ax)、超寬帶(UWB)、NB-IoT和GNSS 平臺是業內授權較為廣泛的連接平臺。