SK海力士新一代圖像傳感器，提高成像質(zhì)量和自動(dòng)對(duì)焦功能

眼睛對(duì)于包括人類(lèi)在內(nèi)的動(dòng)物而言至關(guān)重要，它幫助我們測(cè)量距離，是生存的條件之一。捕獵者在捕獵時(shí)使用眼睛來(lái)測(cè)量與獵物之間的距離，而獵物也在用眼睛觀察是否有捕獵者正在靠近，以便避開(kāi)危險(xiǎn)。大約5.4億年前，地球上開(kāi)始出現(xiàn)擁有視力的生物，而與視力息息相關(guān)的生存競(jìng)爭(zhēng)也由此拉開(kāi)序幕。從那時(shí)起，眼部結(jié)構(gòu)各異的動(dòng)物物種數(shù)量飛速增長(zhǎng)。生物進(jìn)化早期的物種在這一方面十分多元，從僅有一只眼睛的寒武厚槳蝦（Cambropachycope）到多達(dá)五只眼睛的歐巴賓海蝎（Opabinia）和麒麟蝦（Kylinxia）等。而如今，大多數(shù)動(dòng)物都擁有兩只眼睛^【1】。

通過(guò)雙眼觀察物體會(huì)出現(xiàn)輕微的雙眼視差，也就是左眼和右眼接收到的圖像位置有所差異。大腦通過(guò)計(jì)算這種差異來(lái)預(yù)測(cè)與目標(biāo)物體之間的距離。這就是所謂的雙眼視差（Binocular disparity）¹，大多數(shù)動(dòng)物都依靠雙眼視差來(lái)測(cè)量距離。

¹ 雙眼視差（Binocular disparity）：左眼和右眼所見(jiàn)物體在圖像位置上存在差異

智能手機(jī)攝像頭采用了一種名為相位檢測(cè)自動(dòng)對(duì)焦（PDAF，Phase Detection Auto Focus）^【2】的技術(shù)，該技術(shù)使用雙眼視差來(lái)根據(jù)拍攝對(duì)象調(diào)整焦距。在此基礎(chǔ)上，SK海力士研發(fā)了A4C（All 4-Coupled）圖像傳感器，在讀取色彩信息的同時(shí)，利用每個(gè)像素的視差，提高成像質(zhì)量和自動(dòng)對(duì)焦功能。本文將介紹SK海力士全新開(kāi)發(fā)的A4C圖像傳感器所具備的三大優(yōu)勢(shì)—快速準(zhǔn)確的對(duì)焦檢測(cè)、高分辨率圖像以及多種應(yīng)用場(chǎng)景。

A4C圖像傳感器的結(jié)構(gòu)如圖1所示。與傳統(tǒng)Quad^【3】傳感器類(lèi)似，A4C傳感器搭載一個(gè)可將光線轉(zhuǎn)換為電流的光電二極管和僅特定波長(zhǎng)光束可以穿透的濾光片。但是，與Quad傳感器不同的是，A4C傳感器的結(jié)構(gòu)將每四個(gè)相同顏色像素歸為一組，每組上方配備一個(gè)微透鏡（Micro lens）² ，四個(gè)像素分別位于左上角（TL，Top Left）、右上角（TR，Top Right）、左下角（BL，Bottom Left）和右下角（BR，Bottom Right）。

² 微透鏡（Micro lens）：一種將光集中到中心位置以提高CIS效率的透鏡。

圖1  A4C傳感器結(jié)構(gòu)

A4C傳感器的自動(dòng)對(duì)焦功能基于這樣一種機(jī)制：如果來(lái)自物體的不同光線匯聚至一個(gè)焦點(diǎn)，則物體處于對(duì)焦?fàn)顟B(tài)；如果來(lái)自物體的不同光線未能匯聚至一個(gè)點(diǎn)，則物體處于失焦?fàn)顟B(tài)。換句話說(shuō)，如果一個(gè)微透鏡下的四個(gè)像素的強(qiáng)度值一致，則物體處于對(duì)焦?fàn)顟B(tài)；如果強(qiáng)度值不一致，則物體處于失焦?fàn)顟B(tài)。例如，在捕捉圖2所示物體時(shí)，當(dāng)圖像處于圖2第一個(gè)示例中的對(duì)焦?fàn)顟B(tài)，上方紅色光路和下方藍(lán)色光路會(huì)落在同一微透鏡下的同一組像素。然而，如圖2第二個(gè)和第三個(gè)示例所示，當(dāng)物體位于焦點(diǎn)交匯處的前方或后方，通過(guò)頂部和底部路徑進(jìn)入透鏡的光路則無(wú)法聚焦到同一個(gè)微透鏡。這些光線會(huì)落在不同的像素上，從而形成視差（Disparity）³。通過(guò)視差分析，傳感器可以判斷出如何移動(dòng)透鏡模塊的位置才能將焦距調(diào)整至最佳狀態(tài)。

³ 視差（Disparity）：當(dāng)物體的一個(gè)點(diǎn)按照光路聚焦到傳感器平面的不同位置時(shí)發(fā)生的位移。

圖2 根據(jù)物體距離進(jìn)行視差檢測(cè)

與現(xiàn)有的PDAF技術(shù)相比，A4C傳感器能夠計(jì)算每個(gè)像素的視差。換言之，A4C傳感器具有很高的精度，在低于10 勒克斯（lux）的弱光環(huán)境下也可以確保10倍以上精度。與利用雙眼視差的PDAF技術(shù)不同，A4C傳感器利用的是微透鏡下方位于上下左右四角的四個(gè)像素的視差。因此，A4C傳感器擁有非常出色的對(duì)焦檢測(cè)性能，能夠準(zhǔn)確檢測(cè)水平或垂直方向的物體。傳統(tǒng)傳感器與A4C傳感器在自動(dòng)對(duì)焦功能上的差距參見(jiàn)以下視頻。

傳統(tǒng)傳感器與A4C傳感器在自動(dòng)對(duì)焦性能上的比較

（左：普通自動(dòng)對(duì)焦 / 右：A4C自動(dòng)對(duì)焦）

A4C傳感器的輸出圖像能以每個(gè)微透鏡下四個(gè)像素為一組的方式提高感光度，或通過(guò)將各個(gè)像素獨(dú)立輸出的方法來(lái)提高圖像分辨率（例如，5000萬(wàn)像素A4C傳感器可以輸出5000萬(wàn)像素分辨率的圖像⁴ 或1250萬(wàn)像素微透鏡分辨率的圖像⁵）。如果傳感器將每個(gè)微透鏡下四個(gè)像素作為一組生成輸出圖像，圖像分辨率會(huì)降至單獨(dú)使用每個(gè)像素時(shí)的圖像分辨率的四分之一。但是，四個(gè)像素一組的方法可以將感光度提高四倍。因此，在夜間、弱光環(huán)境等光線不足的情況下，微透鏡分辨率（Micro lens resolution）傳感器的優(yōu)勢(shì)更為明顯。

⁴ 像素分辨率（Pixel resolution）：A4C傳感器的像素?cái)?shù)量

⁵ 微透鏡分辨率（Micro lens resolution）：A4C傳感器的微透鏡數(shù)量。A4C傳感器的微透鏡分辨率是像素分辨率的四分之一。

另一方面，在白天或室外等光線充足的情況下，可以使用將各個(gè)像素獨(dú)立輸出的方式來(lái)提高圖像分辨率。像素分辨率（Pixel resolution）是微透鏡分辨率的四倍，因此，單獨(dú)像素輸出的圖像會(huì)更清晰，且有更多細(xì)節(jié)。但是，在使用A4C傳感器的像素分辨率模式時(shí)，需要克服視差帶來(lái)的圖像質(zhì)量問(wèn)題。當(dāng)同一場(chǎng)景中的物體處于不同距離時(shí)（如圖3所示），鏡頭會(huì)捕捉處于聚焦?fàn)顟B(tài)下的物體的高分辨率圖像，如實(shí)線所示。另一方面，所有處于失焦?fàn)顟B(tài)的物體都會(huì)出現(xiàn)視差問(wèn)題，如圖3虛線所示。這意味著，同一微透鏡下相鄰像素之間的強(qiáng)度存在差異，進(jìn)而導(dǎo)致圖像中出現(xiàn)柵格圖案，圖像質(zhì)量下降。

圖3 同一場(chǎng)景中位于不同距離的物體圖像

圖4是使用A4C傳感器拍攝處于不同距離的物體時(shí)得到的圖像。距離傳感器最近的綠色物體處于對(duì)焦?fàn)顟B(tài)，而其他物體均處于失焦?fàn)顟B(tài)，成像較為模糊。如果將圖4中的白色區(qū)域放大，可以看到視差造成的柵格圖案，圖像質(zhì)量下降。為改善圖片質(zhì)量下降的問(wèn)題，SK海力士的A4C傳感器采用了專有A4C相位校正（APC，A4C Phase Correction）技術(shù)和四合一像素（Q2B，Quad-to-Bayer）技術(shù)，可以對(duì)圖像進(jìn)行處理并改善圖像質(zhì)量。需要特別指出的是，SK海力士的APC算法可以分析物體反射的光線，從而確定落在圖像傳感器的透鏡模塊路徑。而且，這項(xiàng)技術(shù)既解決了因失焦區(qū)域視差所導(dǎo)致的圖像質(zhì)量下降問(wèn)題，又保證了處于對(duì)焦?fàn)顟B(tài)的物體區(qū)域的細(xì)節(jié)呈現(xiàn)。

圖4  A4C傳感器的輸出圖片

除了精準(zhǔn)對(duì)焦檢測(cè)和捕捉高分辨率圖像外，A4C傳感器的優(yōu)勢(shì)還包括它可以應(yīng)用于一系列光場(chǎng)成像場(chǎng)景。光場(chǎng)成像是一種再現(xiàn)物體射線分布的技術(shù)，可以計(jì)算場(chǎng)景中的光線強(qiáng)度和光線源頭的精確方向，并將這些信息用于背景虛化（Bokeh）⁶、再對(duì)焦（Refocus）⁷和多視角（Multi-view）⁸等計(jì)算機(jī)視覺(jué)應(yīng)用程序中。

⁶ 背景虛化（Bokeh）：一種調(diào)整物體對(duì)焦同時(shí)模糊背景的技術(shù)

⁷ 再對(duì)焦（Refocus）：一種在圖片成像后針對(duì)某一點(diǎn)進(jìn)行再對(duì)焦的技術(shù)

⁸ 多視角（Multi-view）：一種使用由不同角度拍攝的多幅圖像來(lái)進(jìn)行幾何或空間復(fù)合校準(zhǔn)的技術(shù)

當(dāng)使用A4C傳感器拍攝圖像時(shí)，從物體反射出來(lái)的、與焦點(diǎn)一致的光線經(jīng)過(guò)四個(gè)不同的路徑，到達(dá)同一微透鏡下的四個(gè)像素，如圖5所示。因此，如果傳感器能夠感知A4C像素的強(qiáng)度和微透鏡下的具體位置，便可明確具體像素的光強(qiáng)度及光的來(lái)源方向。

圖5 使用A4C傳感器捕捉物體

具體而言，如果傳感器以同一微透鏡下多個(gè)像素為一組的模式形成局部圖像，這些像素會(huì)接收通過(guò)相同透鏡模塊路徑到達(dá)傳感器的光線，這意味著，傳感器可以再現(xiàn)從透鏡模塊的相同位置感知到的局部圖像（例如，如果傳感器將同一微透鏡下左上角TL的像素作為一組來(lái)形成圖像，則將呈現(xiàn)透鏡模塊左上角的局部圖像）。這樣的局部圖像被稱為子孔徑（SA，Sub-Aperture）圖像^【4】，A4C傳感器可以從透鏡模塊的左上角、右上角、左下角和右下角生成四個(gè)子孔徑圖像。如下文所述，這四個(gè)來(lái)自不同點(diǎn)的子孔徑圖像可用于各種計(jì)算機(jī)的視覺(jué)應(yīng)用。

1）背景虛化應(yīng)用：使用四個(gè)子孔徑圖像可以提高虛化圖像的質(zhì)量。由于左右攝像頭之間的視角和機(jī)械位移問(wèn)題，使用普通雙攝鏡頭生成的背景虛化圖像往往與實(shí)際場(chǎng)景有一定差別。但是，只要使用子孔徑圖像，即通過(guò)A4C傳感器生成局部圖像，就不會(huì)出現(xiàn)上述差別問(wèn)題。此外，A4C傳感器可以使用四張子孔徑圖像來(lái)計(jì)算深度數(shù)據(jù)，在精度方面要優(yōu)于使用兩個(gè)圖像的雙攝像頭。

2）再對(duì)焦應(yīng)用：子孔徑圖像支持再對(duì)焦，即，通過(guò)A4C傳感器的強(qiáng)度和方向信息將焦點(diǎn)調(diào)整至指定位置。傳統(tǒng)的再對(duì)焦技術(shù)因?yàn)樾枰趫D像傳感器上方添加微透鏡陣列^【4】，會(huì)存在機(jī)械誤差問(wèn)題。而A4C傳感器則不需要額外添加微透鏡陣列，因此不存在機(jī)械誤差問(wèn)題，同時(shí)精度也可以得到很大改善。

3）多視角應(yīng)用：從本質(zhì)上來(lái)說(shuō)，子孔徑圖像是從不同角度觀察物體得出的圖像數(shù)據(jù)。因此，在一系列多視圖應(yīng)用場(chǎng)景中可以使用到四張子孔徑圖像，包括3D圖像恢復(fù)、3D安全應(yīng)用程序以及改善弱光條件下圖像質(zhì)量等。

綜上所述，SK海力士開(kāi)發(fā)的A4C傳感器不僅可以克服傳統(tǒng)圖像傳感器的局限性，而且具有三大優(yōu)勢(shì)：快速準(zhǔn)確對(duì)焦檢測(cè)、捕捉高分辨率圖像、多種光場(chǎng)成像應(yīng)用場(chǎng)景。除A4C傳感器外，SK海力士正在開(kāi)發(fā)HDR（High Dynamic Range）、非拜耳（Non-Bayer）、像素裝倉(cāng)（Pixel Binning）等新型圖像信號(hào)處理（ISP，Image Signal Processing）技術(shù)。SK海力士憑借業(yè)界最佳的設(shè)備和工藝技術(shù)，開(kāi)發(fā)了0.7um和0.64um微型像素，提高了CIS（CMOS圖像傳感器，CMOS Image Sensor）像素密度，使其在未來(lái)成為信息傳感器的核心組成部件。未來(lái)，SK海力士的CIS技術(shù)有望用于包括智能手機(jī)攝像頭、生物、安全和自動(dòng)駕駛汽車(chē)在內(nèi)的各個(gè)應(yīng)用領(lǐng)域，為創(chuàng)造經(jīng)濟(jì)和社會(huì)價(jià)值做出貢獻(xiàn)。

^【1】 Andrew Parker，《一瞬之間：視覺(jué)激發(fā)的寒武紀(jì)大爆發(fā)》（In the Blink of an Eye: How Vision Sparked the Big Bang of Evolution），2003年。

^【2】 SK海力士新聞中心，圖像傳感器的視覺(jué)演變與創(chuàng)新，https://news.skhynix.com.cn/the_visual_evolution_and_innovation_of_image_sensors/。

^【3】 SK海力士新聞中心，SK海力士“1.0μm黑珍珠（Black Pearl）” 圖像傳感器詳解，https://news.skhynix.com.cn/everything-about-the-1-0%CE%BCm-black-pearl-sk-hynixs-image-sensor/。

^【4】 R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz與P. Hanrahan.“手持式全光學(xué)相機(jī)的光場(chǎng)攝影”，斯坦福大學(xué)計(jì)算機(jī)科學(xué)技術(shù)報(bào)告 CSTR 2005-02，2005年4月。