蘋果利用場景攝像頭重定向解決VR頭顯透視MR效果

現在不少VR頭顯都會利用前置攝像頭納入AR透視功能。但傳統的透視視圖質量有限，這是因為眼睛、顯示器和攝像頭在空間中的位置不一致。糟糕的透視視圖會導致距離知覺受損、定向障礙和手眼協調性差。

所以，蘋果希望利用所謂的“場景攝像頭重定向”技術來幫助解決這個問題。

蘋果指出，在各種實施例中，通過變換由場景攝像頭捕獲的圖像來補償眼睛、顯示器和攝像頭的位置差異，以使其看起來像是在與用戶眼睛相同的位置捕獲，這可以緩解所述問題。一種形式的補償是基于平面世界的假設：真實世界是一個單一深度的圖像。在各種實現中，所述深度以各種方式確定。

在一個實現中，MR視圖呈現模塊包括數據獲取單元、MR視圖呈現單元、單應單元和數據發送單元。

在一個實現中，數據發送單元配置為至少向控制組件發送數據（如渲染數據和位置數據等）。

在一個實現中，數據獲取單元配置為從至少控制器組件獲取數據（如渲染數據、交互數據、傳感器數據、位置數據等。

在一個實現中，MR視圖呈現單元配置為經由一個或多個顯示器呈現MR內容。

在一個實現中，單應單元配置成基于場景的深度，以及場景攝像頭的視點和用戶的視點之間的差異來變換場景的圖像。

簡單來說，所述方法包括使用場景攝像頭捕捉場景的圖像；使用一個或多個處理器確定場景的深度；使用一個或多個處理器，基于場景攝像頭視點和用戶視點之間的深度和差異來變換場景的圖像；然后顯示器顯示變換后的圖像。

如上圖所示，5A是不佩戴頭顯時用戶應看到的畫面；5B是由場景攝像頭捕獲并呈現的畫面，場景攝像頭的視點和用戶視點不同；5C則是應用變換后的圖像。

在將5A與5B進行比較時，可以注意到，由于場景攝像頭的視點存在水平偏移，圖像中的對象看起來更近。另外，由于場景攝像頭的視點存在垂直偏移，圖像中的對象看起來較低。

在將5C的變換圖像與5A進行比較時，可以注意到5C的對象出現在與5A對象相同的高度和距離處。

相關專利： Scene camera retargeting

名為Scene camera retargeting的蘋果專利申請最初在2020年9月提交，并在日前由美國專利商標局公布。
責任編輯人：CC