本公開涉及使用攝像機陣列捕捉場景圖像的操作、系統和計算機可讀媒體，并基于觀眾的沉浸式增強現實、實時顯示墻、頭戴顯示器、視頻會議和類似應用程序的視角處理捕獲的圖像。在一個實現中，公開的技術方案通過組合相機陣列拍攝的圖像向觀看者提供了全視點的場景再現。在另一個實現中，公開的技術方案通過實時跟蹤觀看方視點（POV）的變化實現了觀看方視點與相應場景圖像的實時同步：一個位置移動到另一個位置時的POV，根據不同的POV顯示圖像，觀眾POV的變化包括X、Y和Z維度的運動。
01背景
近年來，沉浸式增強現實，顯示墻，頭戴式顯示器和視頻會議的使用頻率越來越高。例如視頻會議，它是在兩方或更多方之間進行的在線會議，整個會議期間，參與各方都可以相互聽到語音并且看到彼此的視頻圖像。在只有兩方參與者的視頻會議中，每一方都可以通過各自終端參與，這些終端包括臺式計算機系統，平板計算機系統，電視屏幕，顯示墻或智能電話。這些終端通常包括用于獲取音頻信號的麥克風，用于拍攝圖像的網絡攝像頭，用于處理這些音頻和視頻信號的一組硬件和/或軟件，用于在各方之間傳輸數據的網絡連接，用于播放語音的揚聲器，以及用于顯示圖像的顯示器。在這樣的傳統設置中，用戶只能在固定視點下看到參與各方以及他們所在的場景。簡單地說，用戶只能看到彼此網絡攝像頭拍攝到的內容。此外，當觀眾在會議期間從一個位置移動到另一個位置時，他們的相應視點（POV）可能也會發生改變。然而，由于彼此所在場景中圖像拍攝的限制，觀看者只能始終以固定的視點進行視頻交流。
本公開發明描述了一種涉及也可能直接用于沉浸式增強現實，現場顯示墻，頭戴式顯示器和視頻會議應用的圖像拍攝和處理技術。在一個實施例中，這里所公開的技術方案通過組合相機陣列拍攝的圖像向觀看者提供了全視點的場景圖像。在另一個實施例中，這里所公開的技術方案通過實時跟蹤觀看方的位置（POV）變化實現了觀看方視點與相應場景圖像的同步。這里，觀看方的POV變化已經涵蓋在整個系統計算空間的X，Y和Z維度內。
根據其中的一個實施例，例如，在視頻會議期間，與會各方通過各自的終端參與。這些終端一般都包括顯示器，相機陣列，圖像處理單元（硬件和/或軟件），以及網絡連接（例如，通過電纜和/或無線連接）。每個相機陣列又都包括多個相機，可以拍攝各種格式的圖像（例如 RGB，YUV，YCC等）。此外，這種相機陣列或者可以直接拍攝得到深度信息，或者基于某些技術（例如，結構光，飛行時間，立體圖像等）拍攝到能夠計算深度信息的圖像，或者通過其他方式計算出一方所在場景的深度信息同時跟蹤該方的POV（例如，該方頭部和/或眼睛位置所決定的視點）。表征觀看方POV的數據會通過他的終端發送并被另一方的終端通過網絡接收到。該接收方終端內的圖像處理單元會基于上述觀看方的POV特征數據處理其所拍攝到的圖像。
特別地，這里的圖像處理操作可能包括剔除操作，即基于觀看方的POV特征數據對拍攝到的圖像進行像素修剪和識別。該剔除操作的目的是減少后續圖像處理的數據量。由于剔除過后的數據最終會從一方轉移到另一方，因此剔除操作可以大幅減少網絡間傳輸的數據量，節省帶寬并降低延遲。在剔除之后，圖像處理單元會進一步將剩余的三維（3-D）像素映射到一個二維的（2-D）顯示空間。接下來，這些映射像素構成的數據包會由一個終端發送并被觀看方終端通過網絡接收到。
隨后，觀看方終端內的圖像處理單元會混合這些映射的像素并組裝成被顯示器顯示的圖像（即一“幀”畫面）。單獨地理解，觀看方的終端可以使用說話方的POV特征數據處理觀看方拍攝到的圖像。觀看方終端內的圖像處理操作可以是說話方終端內這些操作的“鏡像”處理。如本領域普通技術人員應當理解的，這里使用術語“說話方（Speaker）”和“觀看方（Viewer）”來方便我們對所公開概念的解釋。
在一個視頻會議中，各方對于其他方都可以稱作說話方和觀看方。因此，上述以觀看方和說話方描述的圖像拍攝和處理操作會在每一方的終端內同時且持續地進行。這樣就為每一方都提供了基于該方POV的他方連續顯示的幀圖像（即實況視頻）。此外，這里的相機陣列可以單獨接入整個系統，也可以集成到各方的顯示模塊中。對于諸如沉浸式增強現實，現場顯示墻和頭戴式顯示器之類的應用，可能始終只有一個觀看方，這些終端不對稱，可能只在被拍攝方有相機陣列，拍攝的場景信息僅用于在觀看方的顯示器上顯示。觀看方的POV可以用一個或多個攝像機或其他設備跟蹤，這些相機和前述相機陣列的目的不同而專用于跟蹤目的。
美國專利和商標局今天公開了蘋果公司新授予的41項專利。在下面這份報告中，我們會特別介紹這些專利中一項：用于增強現實應用的智能眼鏡發明。實際上，蘋果早在2015年就已經通過收購的方式從Metaio手中獲得了該專利。
用于蘋果智能眼鏡和iPhone的增強現實系統
圖1A
蘋果剛授予的這項專利涵蓋了與頭戴式增強現實顯示相關的發明。當年收購德國公司Metaio時，該發明專利就一并被蘋果繼承。此專利的唯一發明人是Metaio 公司當時的負責人Peter Meier，而現在他則是技術開發團隊中的算法負責人。
如圖1A所示，用戶佩戴的是一套頭戴式顯示系統（“頭戴式顯示器”，全稱為Head Mounted Display，縮寫為HMD），具體包括作為這個系統裝置（＃20）一部分的顯示器（＃21）。這種顯示器可以是現在被廣泛使用的半透半反式智能眼鏡（也稱作“光學透明顯示器”），這種半透半反式智能眼鏡反射的正是由計算機＃23（比如智能手機）提供的虛擬信息。
通過這種現實世界和虛擬世界信息的混合，用戶借助上述半透半反智能眼鏡最終可以看到融入計算機提供的虛擬對象的真實世界（＃40），比如與現實世界相關的興趣對象（POI，Point of Interest）。以這種方式，該系統裝置就構成了多數人理解的增強現實（AR）系統，同時這也是該專利的第一個實施例。
該系統裝置中的顯示器可以具有一個附加的傳感器（＃24），例如旋轉傳感器，以及在該旋轉傳感器上安裝的用于光學跟蹤的相機（＃22）。這里的顯示器可以是半透明的進而允許用戶直接看到現實世界，也可以是通過相機拍攝后發送到視野內的現實世界的圖像。
上圖圖示中的1B示意了另一種被智能手機行業設計人員廣為應用的示例性系統裝置（＃30）。該顯示裝置＃31（其形式一般是一種顯示屏或顯示器），結合計算機（＃33），傳感器（＃4）和照相機（＃32）則構成了一個可以放進智能電話殼體內的系統單元。
基本上，本報告介紹的這項發明可以很方便地用于所有形式AR產品的設計。實際上，上述實施例中的系統并不一定需要使用基于半透半反頭戴式顯示器的透明顯示方式，同樣也不一定需要使用旋轉相機和顯示器來獲得現實世界的圖像作為背景。
從本質上說，本發明還可以與現有的立體顯示器（Stereoscopic display）結合使用。在這種應用中，上述“視頻透視”的方法（Video see-through approach，即使用相機拍攝現實世界的圖像作為另一種方法中直接看到的現實世界）在系統中使用兩個相機（效果更佳），每個相機用于記錄相應一只眼睛所看到的視頻流。通過這種設計，在任何情況下，系統都可以針對每只眼睛單獨計算虛擬的3D信息。
蘋果的這項授權專利最初于2015年第四季度提交，直至今天由美國專利和商標局發布。
來源：維映、Patentlyapple
編譯：山海觀、Peter
編輯：Susie，Ann
