——塔克曼
WWDC23上，Apple Vision Pro發(fā)布，空間計算革命開啟，也帶火了眼動追蹤！
眼睛是注意的窗口，人類利用該視覺系統(tǒng)可以從外界獲取大量的信息，由此產(chǎn)生的眼動特征能提示人們的認知規(guī)律。
“眼動追蹤”，最早是作為心理學研究的一項技術，可以實時、準確地記錄人們觀察場景信息時的眼球運動情況。現(xiàn)在，眼動追蹤作為一種科學技術手段，已被廣泛地運用于各個領域之中。
被低估的眼動追蹤技術
設想一下。
你是否會給你的視野加上各種濾鏡？如果陰天讓你心情不好，你是否會選擇用一個晴天濾鏡替換它？窗外那一排建筑，你想不想換成一條大瀑布？還有這無盡的混凝土城市，希望它成為一片郁郁蔥蔥嗎？
如果每天都能看到或者和這些令人愉快的個性化場景進行交互，并且只需要動動眼睛就行，你覺得怎么樣？
作為一名科幻作者和設計者，Damien Lutz擅長對未來的科技進行詳細設計，在其小說《The Lenz》中，他研究了用眼睛控制的增強現(xiàn)實隱形眼鏡，可以讓人全天候獲得100%的增強視場。
雖然現(xiàn)在有少量關于眼動控制技術的界面或者研究文章，但真正的消費級產(chǎn)品還沒有被定義。那么這樣100%視場、全天候、眼動控制的增強現(xiàn)實界面會是什么樣子的呢？如果這樣的技術成為現(xiàn)實，我們的注視以及與我們交互的場景會不會成為價值連城的新數(shù)據(jù)源呢？
? ?
正如艾邁斯歐司朗的市場經(jīng)理Monica所說，“我們的眼睛是人體的頭號傳感器，而以此延伸的注意力計算在消費者和工業(yè)領域都在不斷增長。”
事實上，業(yè)界一直認為，AR/VR設備發(fā)展至今以來，眼動追蹤技術一直是被XR行業(yè)低估的技術。
眼動追蹤，關注你的“關注”
利用傳感捕獲、提取眼球特征信息、測量眼睛的運動情況，估計視線方向或眼睛注視點位置，預測用戶的狀態(tài)和需求，并進行響應和交互……眼動追蹤技術研究的主要方向即眼球的注視點看向哪里、何時看、看多久，并以此為依據(jù)去捕捉用戶情緒。
相比最原始的眼電圖EOG法、鞏膜搜索線圈法以及當下大廠或頭部公司還在探索嘗試的創(chuàng)新技術路徑，比如眼睛影響捕獲、通過視網(wǎng)膜影像變化、圖像計算進行注視點追蹤、視網(wǎng)膜-角膜反射法等，目前最普遍的眼動追蹤技術還是瞳孔角膜反射法：即通過低功率主動近紅外照射人眼，使用傳感陣列捕捉近紅外圖像，處理近紅外信號獲得眼部特征，估算注視方向、注視點。
*圖源：璞躍中國移動出行團隊
而視線追蹤儀、移動終端眼動儀、AR/VR設備、可穿戴眼動儀為4大類眼動追蹤硬件應用的主流設備。
這4類硬件產(chǎn)品多采用基于紅外光的瞳孔角膜反射法，各有優(yōu)劣：視線追蹤儀精度最高、可視范圍大，能保證頭部運動空間，應用在駕駛研究、飛行器、實驗室固定場景應用；可移動的眼動儀適用更小顯示屏幕，可以隨身攜帶，實時收集定量化眼動數(shù)據(jù)并分析；VR/AR設備，主要應用在游戲和醫(yī)療環(huán)境等領域，但現(xiàn)階段應用場景非剛需且定價高。
由于艾邁斯歐司朗本身在傳感、光源、可視化領域的深厚積累，加之感受到了市場和客戶的緊迫需求，AR/VR也是其近年來發(fā)力的重點領域。
“在AR/VR設備中，眼動追蹤的系統(tǒng)包含近紅外光源、高分辨率攝像頭、以及圖像處理相關的算法，三足鼎立，缺一不可，”Monica補充道。
如此，才能保證當用戶通過AR/VR系統(tǒng)看世界的時候，這個系統(tǒng)也反過來在看你，觀察你。只有這個系統(tǒng)讀懂了你，知道你的眼睛正在盯著什么地方，它才能更好地完成動感交互，更好地實現(xiàn)用戶體驗。
目前，僅近紅外光源，艾邁斯歐司朗就提供6款超小尺寸的紅外LED，覆蓋850nm和940nm波長。其中，850nm產(chǎn)品具有攝像頭高敏感性，940nm波段則可以更好弱化紅暴現(xiàn)象。同時，在不同封裝尺寸、貼片方向和發(fā)光角度方面，艾邁斯歐司朗也給客戶提供了更多靈活選擇。
而在圖像傳感器維度，艾邁斯歐司朗的Mira系列傳感器一直備受關注。以Mira220為例，這是一款220萬像素全局快門式傳感器，擁有高量子效率，可搭配使用低功率發(fā)射器，無懼昏暗的照明條件，兼具低功耗和小尺寸特點，非常適用于AR/VR設備、智能眼鏡、無人機及其他消費及工業(yè)應用。
有??：如果您對艾邁斯歐司朗的眼動追蹤方案有需求，請掃描左側二維碼填寫需求表，我們將盡快為您匹配！
眼動追蹤技術加速落地AR/VR設備
多年來，眼動追蹤一直被認為是AR/VR一項遙遠的技術。伴隨著以 Tobii、七鑫易維為代表的供應鏈技術的成熟，AR/VR開發(fā)需求的疊加，從 2022 年以來，越來越多的AR/VR設備開始配備眼動追蹤技術，PS VR 2、Quest Pro、Vive Pro Eye 和 PICO 4 Pro 是目前AR/VR消費市場中最典型的商用案例。
而在這之前，不少大廠已經(jīng)開啟了技術布局，根據(jù)公開信息梳理：
2014年末，三星投資了FOVE，主打眼動追蹤的VR頭盔；
2016年10月，Google收購專注于眼動追蹤的初創(chuàng)公司Eyefluence，布局AR交互；
2017年初Facebook旗下Oculus確認收購TheEye Tribe，將眼動追蹤技術用于改善產(chǎn)品；
2017年6月，蘋果公司收購了德國計算機視覺公司SensoMotoric Instruments（SMI），致力于打造蘋果XR設備；
此外，高通和英偉達則選擇與七鑫易維合作，專注VR底層的優(yōu)化；另一方面巨頭們也一直源源不斷地提供在AR智能眼鏡上眼動追蹤技術實施方案的國際專利。
通過AR/VR設備的眼動追蹤技術不僅可以真正實現(xiàn)“既見即所得”，或許未來有某種可能，眼動追蹤可以成為AR/VR移動終端的流量入口，眼動追蹤不僅可以第一時間獲取用戶的需求，而且還可能開創(chuàng)一種全新的用戶數(shù)據(jù)類型-眼動數(shù)據(jù)，眼動數(shù)據(jù)可以記錄大量用戶平時間的感興趣的物體圖像。
在由璞躍中國移動出行團隊整理的“眼動追蹤算法層面關注的十大常用指標”中，注視點的分析和AOI（興趣區(qū)Area of Interest）的序列分析被列為眼動追蹤分析系統(tǒng)的重點。
*圖源：璞躍中國移動出行團隊
近兩年，眼動追蹤技術落地勢頭猛烈，預測在未來幾年內(nèi)或可看到該技術成為消費級 VR/AR設備的標配。
更多想象，不止注視點渲染
注視點渲染（Foveated Rendering）是大多數(shù)人對于眼動追蹤技術的第一印象，它旨在降低顯示要求苛刻的AR/VR場景所需的算力。
注視點渲染旨在通過僅在人眼中央凹看到的區(qū)域以高分辨率渲染虛擬場景，利用人類視覺特性，大幅降低周邊視覺中無法仔細分辨的細節(jié)場景顯示質量。這樣做可以讓我們將AR/VR設備大部分處理能力集中在對畫面細節(jié)貢獻最大的地方，同時在其他地方節(jié)省運算資源。
*圖源網(wǎng)絡
特別是后期伴隨AR/VR設備顯示分辨率和FOV的提高，渲染復雜場景所需的功率也會相應提升。此時眼動追蹤自然會發(fā)揮出最大的作用，成為提高近眼顯示質量和節(jié)省設備資源的最佳調解器。
雖然注視點渲染是眼動追蹤在AR和VR頭戴式設備中的一個令人興奮的技術場景，但眼動追蹤的作用不僅于此。基于眼動追蹤技術與更多AR/VR軟硬件的“串聯(lián)”，可以開啟更多產(chǎn)品功能，顯著提高用戶體驗：
注視點顯示，提高分辨率質量：注視點顯示不是僅僅是改變屏幕顯示中某些部分的渲染細節(jié)，而是實時跟蹤渲染，無論用戶看向哪里，它都始終保持在用戶視線的前面。
眼神交互帶來更自然的XR社交：精確的眼動追蹤數(shù)據(jù)可以很容易地應用于VR數(shù)字化身，以表示用戶何時眨眼睛，以及他們在看哪里。它還可以解鎖有意識和無意識的非語言交流，甚至可以用來推斷一些情緒，而這些情緒可能會反映在化身的臉上。
比如以社交起家的Meta一直在推動次時代VR硬件上的社交，如Quest Pro就具有眼動追蹤和面部追蹤功能，為虛擬形象帶來了更真實的表達。
個體識別、XR支付、自動IPD調整：除了檢測眼球運動外，眼動追蹤還可以用作生物識別符。這也使得眼動追蹤成為單設備、多用戶差異化賬戶配置的理想選擇——當不同用戶戴上 XR 頭戴設備時，系統(tǒng)可以加載他們對應的偏好設置和應用數(shù)據(jù)。當然，這里涉及在眼動追蹤模組中加載其他生物識別算法（如虹膜識別）。
此外，眼動追蹤還可用于精確測量IPD（瞳距），這對XR設備尤為重要，因為需要將鏡頭和顯示器移動到最佳位置，方能使用戶獲得舒適的視覺效果。
意圖理解與分析，適用于VR游戲開發(fā)：同時，通過用戶眼球的追蹤，眼動追蹤對于被動地理解玩家的意圖和注意力也非常有用。
除了這種實時的意圖理解，眼動追蹤對分析也非常有用。通過收集有關用戶正在查看的內(nèi)容和時間的數(shù)據(jù)，開發(fā)人員可以更深入地了解他們的應用程序是如何被使用的。
主動輸入：遠距離抓物，提升交互效率：當然，眼動追蹤對于主動輸入也很有用，允許用戶有意識地利用他們的目光使游戲任務更容易完成。可以預測，當XR成為一個真正高效的通用計算平臺時，眼動追蹤輸入將發(fā)揮重要作用。
動態(tài)變焦：當前的 VR/AR/MR頭戴式顯示設備經(jīng)常存在所謂的視覺輻輳調節(jié)沖突（vergence-accommodation conflict，簡稱“VAC”），通常立體圖像能夠驅動用戶的人類視覺系統(tǒng)的聚散狀態(tài)至任意距離，但在頭顯中用戶眼睛的調節(jié)或聚集狀態(tài)被光學系統(tǒng)驅動到了一個固定的距離，因而會導致人眼疲勞，甚至是惡心和頭痛。
而實現(xiàn)這種可驅動的變焦顯示器正需要眼動追蹤，通過從用戶的每只眼睛追蹤進入虛擬場景的路徑，系統(tǒng)可以找到這些路徑的交點，從而建立用戶正在查看的正確焦平面。
更多應用，不止AR/VR設備
事實上，除了AR/VR行業(yè)，在汽車座艙內(nèi)，眼動追蹤也有較大的應用前景。眼動追蹤與車的結合，目前還在比較創(chuàng)新、試點驗證的階段，尚未量產(chǎn)上車。
從場景上看，可以分為三類：駕駛員認知情況檢測、多模態(tài)的交互、車輛控制反饋。其中能應用于眼動相關的技術點都與交互和檢測、控制相關。比如車輛控制上，可以通過注視點判斷、注視時長控制車窗高度，提高儀表亮度等。此外，例如還可將眼動追蹤和DMS系統(tǒng)融合，用于檢測駕駛員的注意力。
隨著眼動追蹤技術及產(chǎn)品的成熟發(fā)展，會倒逼一級供應商及車機、車規(guī)級攝像頭產(chǎn)商考慮眼動跟蹤的需求，在成本核算有較大盈利空間的前提下，配合車企做創(chuàng)新性的產(chǎn)品，因此也有較大的應用市場空間。
此外，眼動追蹤在醫(yī)療保健和研究領域也有廣泛的應用，例如有些公司正在使用帶有眼動追蹤功能的頭戴設備來檢測腦震蕩，據(jù)稱可以提高現(xiàn)場診斷的效率。
延伸閱讀：
《增強現(xiàn)實/虛擬現(xiàn)實/混合現(xiàn)實技術及市場趨勢-2022版》
《AR/VR/MR光學元件技術及市場-2022版》
