如何最優化您的增強現實(AR)解決方案？

當提及 AR 及其應用時，首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車應用中，讓用戶無需低頭看儀表盤就能看到相關的飛行器/汽車信息。

研究顯示人類通過視覺與世界互動時，處理圖像的速度比處理書面文本等其他不同形式的信息要快許多倍。增強現實 (AR) 類似于其近親虛擬現實(VR)，能讓用戶增強對周邊環境的洞察。它們之間的主要的區別是,AR 借助文本或其他可視對象等虛擬對象可豐富或增強自然界。這樣能讓 AR 系統的用戶安全、更高效地與他們的環境互動。這與用戶沉浸在人工創建的環境中的虛擬現實不同。增強現實和虛擬的結合常被描述為為用戶呈現混合現實 (MR)。我們中的許多人在日常生活中已經不知不覺地用上了AR，例如我們的移動設備在進行道路導航時，或是玩精靈寶可夢GO等虛擬游戲時。

?

虛擬現實、增強現實和混合現實

當提及 AR 及其應用時，首先想到的事情之一是抬頭顯示器 (HUD)。它們被用于航空和汽車應用中，讓用戶無需低頭看儀表盤就能看到相關的飛行器/汽車信息。抬頭顯示器是較簡單的可用 AR 應用之一。擁有可穿戴技術等更高級功能的先進 AR 應用往往被稱為智能增強現實，據 Tractica 預測，其市場規模到 2020 年將達到 23 億美元。

增強現實應用和用例

AR正在進軍眾多應用領域，覆蓋工業、軍事、制造、醫療、社交和商業等不同行業，其大量的用例推動其被廣泛采用。在商業領域，AR主要側重于社交媒體提供應用，例如能夠識別您交談的對象并添加履歷信息。AR 還能讓消費者看到有時難以參觀到的產品，例如汽車、游艇、建筑物等。

許多 AR 應用都離不開使用偵探佩戴的智能眼鏡。這些智能眼鏡能提高制造環境內的效率，例如便于替換操作手冊，向用戶展示如何組裝零部件。在醫療領域，智能眼鏡便于分享醫療記錄以及創傷和損傷的詳細狀況，能為現場急救人員和后續急診室人員提供治療信息。

?

*智能眼鏡在工業環境中的使用實例 *

一個典型的例子是一家大型包裹物流公司。這家公司目前正在使用 AR 智能眼鏡閱讀發運標簽上的條形碼。在條形碼掃描完畢后，智能眼鏡能使用WiFi基礎設施與公司服務器通信，判定包裹的最終目的地。在已知目的地后，智能眼鏡能向用戶提示包裹的堆放處，以便繼續發運。

就算不考慮應用和用例，設計一款 AR 系統也會面臨多重相互矛盾的要求，包括性能、安全、功耗和未來兼容性。如果設計人員要為 AR 系統提供理想的解決方案，這些都必須考慮到。

實現 AR 系統

這些復雜的 AR 系統要求能夠連接多個攝像機傳感器并處理來自這些傳感器的數據，從而讓系統了解周圍環境。這些攝像頭傳感器還可能會工作在電磁頻譜的不同頻段上，例如紅外或近紅外。此外，這些傳感器可能提供來自電磁頻譜之外的信息，從而為檢測移動和轉動提供輸入，例如 MEMS 加速計和陀螺儀，以及全球導航衛星系統（GNSS）提供的位置信息。融合來自多種不同類型傳感器的信息的嵌入式視覺系統一般也稱為異構傳感器融合系統。AR 系統也要求高幀率，以及開展實時分析、逐幀提取和處理每幀所含信息的能力。提供滿足這些要求的處理能力成為組件選擇的決定性因素。

?

AR 系統剖析

All Programmable Zynq -7000 SoC 或 Zynq UltraScale+ MPSoC 用于實現 AR 系統的處理內核。這些器件本身屬于異構處理系統，將 ARM 處理器和高性能可編程邏輯完美結合在一起。Zynq UltraScale+ MPSoC 屬于新一代Zynq-7000 SoC，額外提供了一個 ARM Mali-400 GPU。該系列中的某些成員還包含支持 H.265 和 HVEC 標準的硬化視頻編碼器。

這些器件能讓設計人員使用處理器理想地細分系統架構，實現實時分析功能并傳遞給生態系統中的傳統處理器任務。該可編程邏輯可用于實現傳感器接口和處理，從而帶來多重好處，具體包括：
? 根據應用要求，并行實現 N 個圖像處理流水線。
? 任意連接，能定義和連接任意傳感器、通信協議或顯示標準，提供靈活性和未來升級路徑

要實現圖像處理流水線和傳感器融合算法，我們可充分運用 Vivado HLS和SDSoC等工具中提供的高層次綜合功能。這些工具擁有包括 OpenCV 支持在內的各種專家級庫。為縮短 AR 系統的上市時間，還可以利用廣泛的第三方 IP。這些 IP 專為 AR、嵌入式系統和專門的賽靈思技術開發。這些 IP 模塊的供應商中包括 Xylon。Xylon提供能在 Vivado 設計環境中迅速集成的 LogiBRICKS 系列 IP 核，同時提供便于系統快速啟動和運行的拖放功能。另一 IP 模塊供應商是 Omnitek，其提供一系列針對 AR 要求的關鍵環節的 IP 模塊，例如實時折疊模塊和 3D 處理模塊。

設計人員還必須考慮 AR 系統的獨特方面。它們不僅需要與觀察用戶周邊環境的攝像頭和傳感器連接，還需要執行應用和用例所需的算法。同時它們還必須能夠跟蹤用戶的眼睛，判斷它們的視線，從而確定他們所注視的地方。這一般是通過增加觀察用戶面部的攝像頭和實現眼睛跟蹤算法來做到的。在實現后，該算法能讓 AR 系統跟蹤用戶視線并確定要發送到 AR 顯示器上的內容，從而高效利用帶寬和滿足處理要求。但是執行檢測和跟蹤本身就是高計算強度的工作。

大多數 AR 系統屬于便攜式無系留系統，而且很多時候屬于和智能眼鏡一樣的可穿戴系統。這樣如果在供電受限的環境中實現這樣的處理功能，就會面臨特有的難題。Zynq SoC 和 Zynq UltraScale+ MPSoC 系列器件都能提供最出色的單位功耗性能，通過實現多重選項之一，進一步降低運行功耗。在極端條件下，這些處理器能夠進入可被任意一種源喚醒的待機模式，從而關斷占器件一半資源的可編程邏輯。一旦 AR 系統檢測到自己被閑置，這些選項都能實現，從而延長了電池使用壽命。在 AR 系統工作過程中，當前未被使用的處理器單元可以通過時鐘門控來降低功耗。在可編程邏輯單元內，通過遵循簡單的設計規則如高效使用硬宏、精心規劃控制信號和在目前不需要的器件區域考慮使用智能時鐘門控，也能實現極高的用電效率。

有幾種 AR 應用，例如病患醫療記錄共享或生產數據共享，要求在信息保障 (IA) 和威脅防范 (TP) 領域提供高安全等級，尤其是在 AR 系統具有高度移動性、可能被放錯地方的情況下。信息保障要求我們能夠信賴存儲在系統里的信息以及系統發送和接收的信息。這樣對于綜合人工智能領域而言，我們需要使用 Zynq 的安全引導功能來實現加密，并使用 AES 解密、HMAC 和 RSA 驗證來進行驗證。只要設備正確配置和運行，開發人員就能夠使用 ARM Trust Zone 和管理程序實現安全的、外人無法訪問的正交環境。

在威脅防范方面，這些器件能使用系統內置的 XADC 來監測供電電壓、電流和溫度，以發現任何試圖篡改 AR 系統的企圖。如果發生這樣的情況，Zynq 器件可提供多種選擇，包括記錄該企圖、擦除安全數據，防止 AR 系統再次連接到支持性基礎設施。

結論

AR 系統在商業、工業、軍事等幾大行業的應用正日趨普及。這些設備也為它們帶來了高性能、系統級安全性和高能效等一系列自相矛盾的難題。將 Zynq SoC 或 Zynq UltraScale+ MPSoC 用作處理系統的核心，這些難題將迎刃而解。