【光電智造】為什么光場(chǎng)相機(jī)得不到普及？

今日光電

為什么光場(chǎng)相機(jī)得不到普及？！

外界（特別是攝影消費(fèi)者）對(duì)當(dāng)下光場(chǎng)相機(jī)性能和前景的普遍看法，即這盛極一時(shí)的“神器”被負(fù)面看待為“雞肋”，科技媒體界甚至曾在一段時(shí)間內(nèi)普遍看衰光場(chǎng)相機(jī)的市場(chǎng)價(jià)值。

所謂普及，就是指這一設(shè)備的廣泛應(yīng)用，廣泛的應(yīng)用意味著旺盛且龐大的需求。而在需求層面，可以分為T(mén)o C （個(gè)體消費(fèi)者，如攝影愛(ài)好者）和To B（企業(yè)機(jī)構(gòu)）兩個(gè)方面。

本文在嘗試回答這個(gè)問(wèn)題之余，也逆向探討這一個(gè)問(wèn)題的反問(wèn)，即光場(chǎng)相機(jī)究竟在什么樣的條件下可以得到普及？限制其走向大眾市場(chǎng)的“緊箍咒”究竟為何？后續(xù)技術(shù)進(jìn)步的“大乘佛法真經(jīng)” 能否去除這一桎梏？如果可以，光場(chǎng)相機(jī)又會(huì)在哪些領(lǐng)域發(fā)揚(yáng)光大？

一、 空間－視角信息折中，光場(chǎng)相機(jī)的阿喀琉斯之踵

就To C端而言，最大的需求源于攝影攝像，而光場(chǎng)相機(jī)的市場(chǎng)遇冷，最主要的原因還是其本身硬件系統(tǒng)的空間－視角折中設(shè)計(jì)導(dǎo)致其空間分辨率過(guò)低。光場(chǎng)相機(jī)的原理是一個(gè)微透鏡陣列被置于主透鏡和CCD/CMOS感光芯片之間 （見(jiàn)圖1）， 以同時(shí)得到不同視角下的場(chǎng)景圖片。每個(gè)微透鏡下的一個(gè)像素，對(duì)應(yīng)主透鏡上的一小部分，從而代表了一個(gè)觀察視角；每個(gè)微透鏡本身則對(duì)應(yīng)一個(gè)物方景象空間點(diǎn)。假定感光芯片像素總數(shù)為?, 則其等于視角信息數(shù)目?（每個(gè)微透鏡下的像素?cái)?shù)）與空間信息數(shù)目（微透鏡總數(shù)）的乘積，。

?

圖1 光場(chǎng)相機(jī)硬件結(jié)構(gòu)圖 （Lynch, Kyle. Development of a 3-D fluid velocimetry technique based on light field imaging. Diss. 2011）

?

圖2 光場(chǎng)相機(jī)實(shí)物結(jié)構(gòu)圖（Vomma官網(wǎng)）

在這一原理的限制下，一個(gè)原始像素?cái)?shù)目為5638*7728 （4357萬(wàn)）像素的感光芯片，如果微透鏡下像素?cái)?shù)目為14*14， 則最終得到的單視角圖片只有402*552（22萬(wàn)）像素。這什么水平呢？用手機(jī)攝像頭的像素?cái)?shù)目做類(lèi)比，這種級(jí)別的分辨率，僅僅略?xún)?yōu)于世界上第一款安裝攝像頭的手機(jī)，于千禧年2000發(fā)布的夏普J(rèn)-SH04，就圖3這款爺爺輩的手機(jī)，攝像頭像素11萬(wàn)。

圖3 世界上首款帶攝像頭的相機(jī)－夏普J(rèn)-SH04

這一原理性的硬件限制，極大地降低了原始感光芯片的有效利用率。而攝影愛(ài)好者對(duì)像素分辨率有著極其挑剔的訴求，就生活場(chǎng)景而言，要求相機(jī)千萬(wàn)像素起步。為了達(dá)到纖毫畢現(xiàn)，甚至有人寧愿回歸使用膠片相機(jī)。在如此反差強(qiáng)烈的性能要求與供給能力對(duì)比下，光場(chǎng)相機(jī)敗走消費(fèi)者市場(chǎng)就幾成定局！

由于視角－空間折中關(guān)系的存在，低空間分辨率這一問(wèn)題的解決并不容易。最直接的解決方法，就是增加感光芯片的像素?cái)?shù)目。一方面，但像素?cái)?shù)目的增加也意味著數(shù)據(jù)存儲(chǔ)量的增加，使得數(shù)據(jù)的處理和計(jì)算更加麻煩。另一方面，像素?cái)?shù)目的增加，要么是增加感光芯片的靶面積，要么是在感光芯片面積一定的條件下使得單個(gè)像素的面積變小，但兩種方法都存在各自的問(wèn)題和挑戰(zhàn)。

對(duì)前者而言，感光芯片的尺寸，有著明確的行業(yè)標(biāo)準(zhǔn)，它與鏡頭的尺寸存在著適配關(guān)系，芯片的大小決定了對(duì)應(yīng)鏡頭的尺寸大小，從而進(jìn)一步?jīng)Q定了DOF、信噪比、動(dòng)態(tài)范圍等一系列性能。簡(jiǎn)單來(lái)說(shuō)，越大的芯片意味著越沉重且昂貴的鏡頭，越淺的DOF, 越高的噪聲水平還有越明顯的漸暈效應(yīng)……

如果不改變感光芯片的面積，而使單個(gè)像素的尺寸變?。üに嚨倪M(jìn)步毫無(wú)疑問(wèn)可以達(dá)到），則又會(huì)面臨另外一個(gè)窘境。即微透鏡尺寸的衍射效應(yīng)約束以及f#（f數(shù)，fnumber）匹配關(guān)系約束。當(dāng)僅考慮衍射效應(yīng)的時(shí)候，微透鏡衍射光斑的尺寸為：

其中M是微透鏡的放大系數(shù)，對(duì)微透鏡可以認(rèn)為其聚焦在無(wú)窮遠(yuǎn)，即M近似于0,fnumber = 微透鏡焦距?除以微透鏡口徑, 這里不妨假定為4，即鏡頭常用的fnumber; 是光波的波長(zhǎng)，不妨假設(shè)其為可見(jiàn)綠光532nm, 則衍射光斑直徑 為5.1微米。這意味著，對(duì)微透鏡而言，它的物理分辨極限為5.1微米，假設(shè)將進(jìn)入微透鏡的光看作成很多根光線，那么這些光線中最細(xì)的就是的這個(gè)尺度。換而言之，像素尺寸低于這個(gè)值，就會(huì)造成硬件浪費(fèi)，在微透鏡尺寸大小不變的條件下，讓像素尺寸變小，并不會(huì)提高相機(jī)的角度分辨率！這也就意味著，也無(wú)法簡(jiǎn)單通過(guò)讓微透鏡尺寸變小，使得固定的CCD面積可以鋪滿(mǎn)更多的微透鏡，因?yàn)楦〉奈⑼哥R，對(duì)應(yīng)著更大的衍射光斑。

而為了讓感光芯片上的像素被充分利用，微透鏡下各個(gè)方向入射光線形成的光斑尺寸需要正好等于微透鏡本身的尺寸，因此微透鏡的fnumber和主鏡頭的fnumber必須匹配。如果采取更小的微透鏡尺寸，為了匹配主鏡頭的fnumber, 微透鏡的焦距就需要更短，意味著微透鏡本身的形狀曲率更高，相應(yīng)的成像像差更加嚴(yán)重。fnumber匹配讓微透鏡的硬件參數(shù)無(wú)形中又增加了一個(gè)枷鎖。

?

圖4 光場(chǎng)相機(jī)的fnumber 匹配示意圖 （Ng, Ren, et al. Light field photography with a hand-held plenoptic camera. Diss. Stanford University, 2005.）

由于上述約束關(guān)系的存在，可以不妨做一個(gè)大膽的判斷：如果保持現(xiàn)有成像系統(tǒng)結(jié)構(gòu)不變，即使感光芯片的制造工藝取得長(zhǎng)足進(jìn)步，光場(chǎng)相機(jī)的空間分辨率也無(wú)法得到明顯改善。光場(chǎng)相機(jī)能在To C端被消費(fèi)者接納存在前提條件，需要等到十億到百億級(jí)別的感光芯片誕生，相應(yīng)的半導(dǎo)體計(jì)算、存儲(chǔ)能力也得到巨大飛躍。就目前而言，一億級(jí)別的芯片，已經(jīng)是人類(lèi)工業(yè)能力的極限。

一句話(huà)以概括：?光場(chǎng)相機(jī)的局限源于微透鏡，微透鏡的局限源于透鏡光學(xué)衍射極限。微透鏡即賦予了光場(chǎng)相機(jī)同時(shí)記錄光線強(qiáng)度和角度的能力，但也限制了其空間分辨率的提高。

二、工業(yè)檢測(cè)與醫(yī)療診斷，光場(chǎng)相機(jī)的兩大潛在需求爆發(fā)點(diǎn)

在To B方面，對(duì)光場(chǎng)相機(jī)沒(méi)有那么高的空間分辨率要求，光場(chǎng)相機(jī)可以被用作科研工具，例如顯微成像[1]、流體測(cè)速[2]和波前探測(cè)[3]等等，但這一領(lǐng)域的市場(chǎng)需求并不旺盛，無(wú)法稱(chēng)得上令技術(shù)普及。因此，光場(chǎng)相機(jī)的大規(guī)模應(yīng)用取決于工業(yè)界需求，在這一領(lǐng)域，其扮演的角色是類(lèi)似結(jié)構(gòu)光、雙目視覺(jué)一樣的深度傳感器。而與這些技術(shù)相比，光場(chǎng)相機(jī)具有被動(dòng)視覺(jué)、成像快速、解算迅捷以及寬視場(chǎng)大景深的優(yōu)勢(shì)。

表1深度傳感器性能對(duì)照 （源https://www.sohu.com/a/477480432_121124378）

在工業(yè)需求中，當(dāng)下潛在巨大需求的領(lǐng)域主要集中以下兩個(gè)領(lǐng)域：工業(yè)檢測(cè)與醫(yī)療診斷。

工業(yè)檢測(cè)方面，可以分為內(nèi)部探傷與外觀檢測(cè)。工業(yè)產(chǎn)品的外觀尺寸，反映了其加工誤差，不同加工環(huán)節(jié)的外觀瑕疵則反映了工序的好壞，因此工業(yè)外觀檢測(cè)在產(chǎn)品的質(zhì)量控制、成本控制上舉足輕重，其重要性不言而喻。而工業(yè)外觀檢測(cè)種類(lèi)繁多，工業(yè)產(chǎn)品琳瑯滿(mǎn)目。這兩者充分說(shuō)明了光場(chǎng)相機(jī)的潛在市場(chǎng)空間十分巨大。也因此，光場(chǎng)相機(jī)的第一步商業(yè)實(shí)用化，是在工業(yè)外觀檢測(cè)上被落地實(shí)用。比如手機(jī)屏幕模組的瑕疵三維檢測(cè)、精密工業(yè)零件（MEMS, 燃?xì)廨啓C(jī)葉片等等）的加工誤差檢測(cè)、芯片的金屬線檢測(cè)，等等。應(yīng)用案例可以參見(jiàn)，國(guó)內(nèi)奕目科技公司的Vomma光場(chǎng)相機(jī)主頁(yè)。

在內(nèi)部探傷領(lǐng)域，隨著X-ray光場(chǎng)成像[4]的提出，光場(chǎng)成像可以利用其三維立體成像優(yōu)勢(shì)，發(fā)展成為一種新的快速無(wú)損內(nèi)部探傷手段，這是只能進(jìn)行外觀深度探測(cè)的結(jié)構(gòu)光和線激光所不具備的優(yōu)勢(shì)。

光場(chǎng)相機(jī)在醫(yī)療診斷也具備巨大的潛力，這里僅僅列舉若干案例。

比如光場(chǎng)相機(jī)作為一種深度傳感器，可以輔助手術(shù)機(jī)器人完成精準(zhǔn)操作的微創(chuàng)手術(shù)。利用光場(chǎng)相機(jī)寬視場(chǎng)、大景深，深度信息解算迅速（100ms級(jí)別）, 光場(chǎng)相機(jī)可以快速定位醫(yī)療機(jī)械臂上的手術(shù)工具頭的位置，同時(shí)光場(chǎng)相機(jī)也可以完成目標(biāo)區(qū)域人體組織的定位，比如下圖中，在光場(chǎng)相機(jī)的定位輔助下，手術(shù)機(jī)器人精準(zhǔn)完成了傷口的縫合，光場(chǎng)相機(jī)甚至可以通過(guò)測(cè)量縫合線頭的形貌，判別縫合質(zhì)量。得益于光場(chǎng)相機(jī)的結(jié)構(gòu)緊湊型，機(jī)械臂與相機(jī)的手眼標(biāo)定（即相機(jī)坐標(biāo)系和機(jī)械臂的運(yùn)動(dòng)坐標(biāo)系轉(zhuǎn)換）也更加便捷。

?

圖5 基于光場(chǎng)相機(jī)的手術(shù)機(jī)械臂 （Shademan, Azad, et al. Plenoptic cameras in surgical robotics: Calibration, registration, and evaluation. 2016.）

再比如光場(chǎng)相機(jī)應(yīng)用于內(nèi)窺鏡。由于光場(chǎng)相機(jī)基于被動(dòng)視覺(jué)，無(wú)需輔助光源，基于光場(chǎng)相機(jī)的內(nèi)窺鏡，可以集成到一根探頭上，而基于結(jié)構(gòu)光的內(nèi)窺鏡則需要兩個(gè)探頭，即光源和成像系統(tǒng)，加劇了結(jié)構(gòu)的復(fù)雜度和手術(shù)操作難度 （在可以只往身體內(nèi)插一根管子的時(shí)候，也沒(méi)病人希望插兩根）。光場(chǎng)相機(jī)與內(nèi)窺鏡之間通過(guò)中繼鏡頭使得fnumber得到匹配。光場(chǎng)相機(jī)同時(shí)返回人體組織的深度信息和二維影像。

圖6 基于光場(chǎng)相機(jī)的硬式內(nèi)窺鏡 （Le, Hanh ND, et al. ;3-D endoscopic imaging using plenoptic camera.2016.）

??

圖7 基于結(jié)構(gòu)光的內(nèi)窺鏡（Lin, Jianyu. ;An endoscopic structured light system using multispectral detection.2015）

再比如光場(chǎng)相機(jī)應(yīng)用于人眼部的醫(yī)療檢測(cè)。例如虹膜的形態(tài)，除了反映人眼部健康之外，也是人其他部位生理信息的重要指標(biāo)，如晚期糖尿病可引起虹膜新生血管形成，也稱(chēng)虹膜紅腫，虹膜上出現(xiàn)細(xì)小血管。此外，治療良性前列腺肥大（BPH）的藥物也會(huì)改變虹膜肌張力，導(dǎo)致虹膜結(jié)構(gòu)改變和眼部手術(shù)并發(fā)癥。針對(duì)這一問(wèn)題，目前的主要檢測(cè)手段是OCT斷層掃描，還有超聲顯微鏡。但虹膜是一種動(dòng)態(tài)組織，它的形狀和配置可能會(huì)隨著眼球運(yùn)動(dòng)而改變，OCT測(cè)著測(cè)著，沒(méi)準(zhǔn)病人就眨眼了。超聲顯微鏡則需要給病人眼部麻醉，探頭需要和眼球直接接觸，操作也復(fù)雜。光場(chǎng)相機(jī)則可以避免這些問(wèn)題，利用其快速成像的優(yōu)勢(shì)，檢測(cè)只需要一瞬間。

圖8 基于光場(chǎng)相機(jī)的虹膜檢測(cè) a）病變的眼睛 b）虹膜上的腫瘤凸起 （Chen, Hao, et al. Human iris three-dimensional imaging at micron resolution by a micro-plenoptic camera. 2017）

再比如光場(chǎng)相機(jī)應(yīng)用于牙齒取模。牙科診所，病人牙齒有缺損，需要用石膏對(duì)病人進(jìn)行取模，患者咬住十分鐘到半小時(shí)，石膏固化后寄送給人造牙的工廠，等個(gè)十天半個(gè)月后澆筑好的牙齒再寄送到牙醫(yī)手上。但是光場(chǎng)成像，可以在瞬間完成牙齒三維形貌的測(cè)定。因此有希望完成快速取模，同時(shí)數(shù)據(jù)資料即時(shí)傳輸?shù)饺嗽忑X生產(chǎn)廠家，利用3D打印造出牙齒的模具或者直接打印牙齒本身，從而極大地降低取模時(shí)間，并且顯著縮短患者等待人造牙齒的時(shí)間周期。

圖9 基于光場(chǎng)相機(jī)的牙齒3D測(cè)量 （https://raytrix.de/）

此外，光場(chǎng)相機(jī)在醫(yī)療美容也可以存在應(yīng)用，作為一種深度相機(jī)，可以提供整形前后的立體的外觀相對(duì)變化信息……

三、超透鏡，光場(chǎng)相機(jī)的必由之路

如前文所述，光場(chǎng)相機(jī)的低空間分辨率源于微透鏡導(dǎo)致的空間－視角信息折中，而微透鏡又受限于光學(xué)衍射極限，使得即使感光芯片加工工藝提高，也無(wú)法把微透鏡做得更小。這一問(wèn)題難道無(wú)解？非也，超透鏡（metalens）技術(shù)，毫無(wú)疑問(wèn)是解開(kāi)這個(gè)限制的關(guān)鍵技術(shù) [5]。人類(lèi)技術(shù)的進(jìn)步，源于兩大推動(dòng)力，尺度和維度。超透鏡就是一種在尺度上通過(guò)細(xì)微結(jié)構(gòu)，調(diào)整波前的技術(shù)。透鏡的作用，無(wú)非是調(diào)制波前，使得光線匯聚。從菲涅爾透鏡上我們可以看到超透鏡的邏輯，對(duì)于一個(gè)凸透鏡，去除掉透鏡中對(duì)波前調(diào)制沒(méi)有貢獻(xiàn)的部位，可以得到一個(gè)很薄的但功能等效的凸透鏡。這種菲涅爾透鏡中的每個(gè)細(xì)微結(jié)構(gòu)，負(fù)責(zé)調(diào)制波前。由此及彼，假如一個(gè)平面上有很多的細(xì)微結(jié)構(gòu)（尺度接近光波波長(zhǎng)），每個(gè)細(xì)微結(jié)構(gòu)都參與調(diào)制，就可以得到一個(gè)和凸透鏡一樣的波前調(diào)制器。這種超透鏡的最大優(yōu)勢(shì)在于，不僅結(jié)構(gòu)輕薄，消除了因?yàn)橥哥R厚度造成的復(fù)雜像差，更重要的是突破了衍射極限。

?

圖10 菲涅爾透鏡制造原理

圖11 突破衍射極限的超透鏡技術(shù) （https://statnano.com/news/67892/A-New-Lens-on-The-World-Improving-the-Metalens-with-Liquid-Crystal）

可以大膽預(yù)測(cè)，在超透鏡技術(shù)成熟后，光場(chǎng)相機(jī)的下一步道路必然是采用基于超透鏡的主透鏡與微透鏡，在沒(méi)有衍射效應(yīng)的束縛下，微透鏡可以越做越小，只要感光像素的尺寸可以繼續(xù)變小，微透鏡的尺寸就可以跟進(jìn)變化。不僅可以有效提高光場(chǎng)相機(jī)的空間分辨率，視角分辨率也可以因?yàn)橄袼刈冃《岣?。原本鉗制光場(chǎng)相機(jī)的小基線問(wèn)題，也必將得到進(jìn)一步緩解，?成像像差也會(huì)得到改善。

簡(jiǎn)單總結(jié)來(lái)說(shuō)，光場(chǎng)相機(jī)的普及，在攝影群體中具有很大的難度，受限于光場(chǎng)相機(jī)的空間－角度信息折中關(guān)系，這一情況不會(huì)因?yàn)楦泄庑酒闹圃旃に囘M(jìn)步而有明顯改善；而光場(chǎng)相機(jī)的獨(dú)特優(yōu)勢(shì)，令其在工業(yè)上被廣泛應(yīng)用存在可能；同時(shí)，超鏡頭技術(shù)的出現(xiàn)以及迭代更新的感光芯片，使得光場(chǎng)相機(jī)的分辨率將會(huì)得到提高，從而克服現(xiàn)存的性能缺陷。

在當(dāng)下的技術(shù)水平下，為了繞開(kāi)折中設(shè)計(jì)這一性能陷阱，光場(chǎng)成像也有其他變種，比如掩碼、鬼成像等等，可以下次繼續(xù)探討，這些光場(chǎng)相機(jī)變種與微透鏡構(gòu)型的光場(chǎng)相機(jī)在性能上的區(qū)別與優(yōu)劣之分。

參考文獻(xiàn)：

[1] Broxton, Michael, et al. Wave optics theory and 3-D deconvolution for the light field microscope. Optics express 21.21 (2013): 25418-25439.

[2] Mei, Di, et al. "High resolution volumetric dual-camera light-field PIV."Experiments in Fluids60.8 (2019): 1-21.

[3] Rodríguez-Ramos, Luis Fernando, et al. "Concepts, laboratory, and telescope test results of the plenoptic camera as a wavefront sensor."Adaptive Optics Systems III. Vol. 8447. International Society for Optics and Photonics, 2012.

[4] Viganò, Nicola. Emulation of X-ray Light-Field Cameras. Journal of Imaging 6.12 (2020): 138.

[5] Lin, Ren Jie, et al. "Achromatic metalens array for full-colour light-field imaging."Nature nanotechnology14.3 (2019): 227-231.

?

----與智者為伍?為創(chuàng)新賦能----

投稿丨合作丨咨詢(xún)

聯(lián)系郵箱：uestcwxd@126.com

QQ：493826566