今日光電
? ? ?有人說，20世紀(jì)是電的世紀(jì)，21世紀(jì)是光的世紀(jì)；知光解電，再小的個(gè)體都可以被賦能。追光逐電，光贏未來...歡迎來到今日光電！
----追光逐電 光贏未來----
引言
? ? ? 機(jī)器視覺的基本任務(wù)之一是從攝像機(jī)獲取圖像信息并計(jì)算三維空間中物體的幾何信息，以由此重建和識(shí)別物體。而空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系是由攝像機(jī)成像的幾何模型決定的，這些幾何模型參數(shù)就是攝像機(jī)參數(shù)。在大多數(shù)條件下，這些參數(shù)必須通過實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)過程被稱為攝像機(jī)定標(biāo)(或稱為標(biāo)定)。標(biāo)定過程就是確定攝像機(jī)的幾何和光學(xué)參數(shù)，以及攝像機(jī)相對(duì)于世界坐標(biāo)系的方位。由于標(biāo)定精度的大小，直接影響著計(jì)算機(jī)視覺(機(jī)器視覺)的精度。因此，只有做好了攝像機(jī)標(biāo)定工作，后續(xù)工作才能正常展開，可以說，提高標(biāo)定精度也是當(dāng)前科研工作的重要方面。
1、攝像機(jī)透視投影模型
攝像機(jī)通過成像透鏡將三維場景投影到攝像機(jī)二維像平面上，這個(gè)投影可用成像變換(即攝像機(jī)成像模型)來描述。攝像機(jī)成像模型分為線形模型和非線性模型。針孔成像模型就屬于線形攝像機(jī)模型，本文就討論在這種模型下，某空間點(diǎn)與其圖像投影點(diǎn)在各種坐標(biāo)系下的變換關(guān)系。圖1所示為三個(gè)不同層次的坐標(biāo)系在針孔成像模型下的關(guān)系。其中(Xw，Yw，Zw)為世界坐標(biāo)系，(x，y，z)為攝像機(jī)坐標(biāo)系，XfQfYf為以像素為單位的圖像坐標(biāo)系，XOY為以毫米為單位的圖像坐標(biāo)系。圖像中某點(diǎn)在以毫米為單位的圖像坐標(biāo)系中的坐標(biāo)與其在以像素為單位的圖像坐標(biāo)系中的坐標(biāo)的變換關(guān)系如下：
空間某點(diǎn)在世界坐標(biāo)系中的坐標(biāo)與其在攝像機(jī)坐標(biāo)系中的坐標(biāo)變換關(guān)系如下：
其中，為3×3正交單位矩；t為三維平移向量；M2為4×4矩陣。
由于針孔成像模型有如下關(guān)系：
所以，將(1)，(2)代入上式的齊次坐標(biāo)和矩陣表示可得：
其中，M1為攝像機(jī)內(nèi)參數(shù)，M2為攝像機(jī)外參數(shù)。確定某一攝像機(jī)參數(shù)稱為攝像機(jī)定標(biāo)。
2、標(biāo)定分類
總的來說，攝像機(jī)標(biāo)定可以分為傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法兩大類。傳統(tǒng)攝像機(jī)標(biāo)定的基本方法是在一定的攝像機(jī)模型下，通過對(duì)特定標(biāo)定參照物進(jìn)行圖像處理，并利用一系列數(shù)學(xué)變換公式計(jì)算及優(yōu)化，來求取攝像機(jī)模型內(nèi)部參數(shù)和外部參數(shù)。然而，該方法在場景未知和攝像機(jī)任意運(yùn)動(dòng)的一般情況下，其標(biāo)定很難實(shí)現(xiàn)。20世紀(jì)90年代初，F(xiàn)augeras，Luong，Maybank等人首次提出了攝像機(jī)自標(biāo)定方法。這種自標(biāo)定法利用攝像機(jī)本身參數(shù)之間的約束關(guān)系來標(biāo)定，而與場景和攝像機(jī)的運(yùn)動(dòng)無關(guān)，所以更為靈活。3、傳統(tǒng)攝像機(jī)標(biāo)定方法
傳統(tǒng)的攝像機(jī)標(biāo)定方法按照標(biāo)定參照物與算法思路可以分成若干類，如基于3D立體靶標(biāo)的攝像機(jī)標(biāo)定、基于2D平面靶標(biāo)的攝像機(jī)標(biāo)定、以及基于徑向約束的攝像機(jī)標(biāo)定等。3.1、基于3D立體靶標(biāo)的攝像機(jī)標(biāo)定
基于3D立體靶標(biāo)進(jìn)行攝像機(jī)標(biāo)定是將一個(gè)3D立體靶標(biāo)放置在攝像機(jī)前，靶標(biāo)上每一個(gè)小方塊的頂點(diǎn)均可作為特征點(diǎn)。每個(gè)特征點(diǎn)相對(duì)于世界坐標(biāo)系的位置在制作時(shí)應(yīng)精確測定。攝像機(jī)獲得靶標(biāo)上特征點(diǎn)的圖像后，由于表現(xiàn)三維空間坐標(biāo)系與二維圖像坐標(biāo)系關(guān)系的方程是攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)的非線性方程，如果忽略攝像機(jī)鏡頭的非線性畸變并把透視變換矩陣中的元素作為未知數(shù)，來給定一組三維控制點(diǎn)和對(duì)應(yīng)的圖像點(diǎn)，那么，就可以利用直接線性變換法來求解透視變換矩陣中的各個(gè)元素。所以，由靶標(biāo)上特征點(diǎn)的世界坐標(biāo)和圖像坐標(biāo)，即可計(jì)算出攝像機(jī)的內(nèi)外參數(shù)。3.2、基于2D平面靶標(biāo)的攝像機(jī)標(biāo)定
該方法又稱為張正友標(biāo)定法，這是一種適合應(yīng)用的新型靈活方法。該方法要求攝像機(jī)在兩個(gè)以上不同的方位拍攝一個(gè)平面靶標(biāo)，攝像機(jī)和2D平面靶標(biāo)都可以自由移動(dòng)，且內(nèi)部參數(shù)始終不變，假定2D平面靶標(biāo)在世界坐標(biāo)系中的Z=0，那么，通過線性模型分析就可計(jì)算出攝像機(jī)參數(shù)的優(yōu)化解，然后用基干最大似然法進(jìn)行非線性求精。在這個(gè)過程中得出考慮鏡頭畸變的目標(biāo)函數(shù)后就可以求出所需的攝像機(jī)內(nèi)、外部參數(shù)。這種標(biāo)定方法既具有較好的魯棒性，又不需昂貴的精制標(biāo)定塊，很有實(shí)用性。但是，張正友方法在進(jìn)行線性內(nèi)外參數(shù)估計(jì)時(shí)，由于假定模板圖像上的直線經(jīng)透視投影后仍然為直線，進(jìn)而進(jìn)行圖像處理，這樣，實(shí)際上會(huì)引入誤差，所以，嘎方法在廣角鏡畸變比較大的情況誤差較大。3.3、基于徑向約束的攝像機(jī)標(biāo)定
Tsai(1986)給出了一種基于徑向約束的兩步法標(biāo)定方法，該方法的核心是先利用RAC(徑向一致約束)條件用最小二乘法解超定線性方程，以求出除tτ(攝像機(jī)光軸方向的平移)外的其他像機(jī)外參數(shù)，然后再在攝像機(jī)有和無透鏡畸變等兩種情況下求解攝像機(jī)的其他參數(shù)。Tsai方法的精度比較高，適用于精密測量，但它對(duì)設(shè)備的要求也很高，不適用于簡單的標(biāo)定。這種方法的精度是以設(shè)備的精度和復(fù)雜度為代價(jià)的。4、攝像機(jī)自標(biāo)定方法
不依賴于標(biāo)定參照物，僅利用攝像機(jī)在運(yùn)動(dòng)過程中周圍環(huán)境圖像與圖像之間的對(duì)應(yīng)關(guān)系來對(duì)攝像機(jī)進(jìn)行的標(biāo)定的方法稱為攝像機(jī)自標(biāo)定方法。目前已有的自標(biāo)定技術(shù)大致可以分為基于主動(dòng)視覺的攝像機(jī)自標(biāo)定技術(shù)、直接求解Kruppa方程的攝像機(jī)自標(biāo)定方法、分層逐步標(biāo)定法、基于二次曲面的自標(biāo)定方法等幾種。4.1、基于主動(dòng)視覺的自標(biāo)定法
所謂主動(dòng)視覺系統(tǒng)，是指攝像機(jī)被固定在一個(gè)可以精確控制的平臺(tái)上，且平臺(tái)的參數(shù)可以從計(jì)算機(jī)精確讀出，只需控制攝像機(jī)作特殊的運(yùn)動(dòng)來獲得多幅圖像，然后利用圖像和已知的攝像機(jī)運(yùn)動(dòng)參數(shù)來確定攝像機(jī)的內(nèi)外參數(shù)。其代表性的方法是馬頌德提出的基于兩組三正交運(yùn)動(dòng)的線性方法，后來?xiàng)铋L江，李華等人提出了改進(jìn)的方案，即分別是基于4組平面正交以及5組平面正交運(yùn)動(dòng)并利用圖像中的極點(diǎn)信息來線性標(biāo)定攝像機(jī)參數(shù)。此種自標(biāo)定方法算法簡單，可以獲得線性解，不足之處在于必須有可以精確控制的攝像機(jī)運(yùn)動(dòng)平臺(tái)。4.2、基于Kruppa方程的自標(biāo)定方法
Faugeras,Luong,Maybank等提出的自標(biāo)定方法是直接基于求解Kruppa方程的一種方法，該方法利用絕對(duì)二次曲線像和極線變換的概念推導(dǎo)出Kruppa方程。基于Kxuppa方程的自標(biāo)定方法不需要對(duì)圖像序列做射影重建，而是對(duì)兩圖像之間建立方程，這個(gè)方法在某些很難將所有圖像統(tǒng)一到一致的射影框架場合會(huì)比分層逐步標(biāo)定法更具優(yōu)勢，但代價(jià)是無法保證無窮遠(yuǎn)平面在所有圖像對(duì)確定的射影空間里的一致性，當(dāng)圖像序列較長時(shí)，基于Kruppa方程的自標(biāo)定方法可能不穩(wěn)定。且其魯棒性依賴于給定的初值。4.3、分層逐步標(biāo)定法
近年來，分層逐步標(biāo)定法已成為自標(biāo)定研究中的熱點(diǎn)，并在實(shí)際應(yīng)用中逐漸取代了直接求解Kruppa方程的方法。分層逐步標(biāo)定法首先要求對(duì)圖像序列做射影重建，再通過絕對(duì)二次曲線(面)施加約束，最后定出仿射參數(shù)(即無窮遠(yuǎn)平面方程)和攝像機(jī)內(nèi)參數(shù)。分層逐步標(biāo)定法的特點(diǎn)是在射影標(biāo)定的基礎(chǔ)上，以某一幅圖像為基準(zhǔn)做射影對(duì)齊，從而將未知數(shù)數(shù)量縮減，再通過非線性優(yōu)化算法同時(shí)解出所有未知數(shù)。不足之處在于非線性優(yōu)化算法的初值只能通過預(yù)估得到，而不能保證其收斂性。由于射影重建時(shí)，都是以某參考圖像為基準(zhǔn)，所以，參考圖像的選取不同，標(biāo)定的結(jié)果也不同相。4.4、基于二次曲面的自標(biāo)定方法
Triggs是最早將絕對(duì)二次曲面的概念引入自標(biāo)定的研究中來的，這種自標(biāo)定方法與基于Kruppa方程的方法在本質(zhì)上是相同的，它們都利用絕對(duì)二次曲線在歐氏變換下的不變性。但在輸入多幅圖像并能得到一致射影重建的情況下，基于二次曲面的自標(biāo)定方法會(huì)更好一些，其根源在于二次曲面包含了無窮遠(yuǎn)平面和絕對(duì)二次曲線的所有信息，且基于二次曲面的自標(biāo)定方法又是在對(duì)所有圖像做射影重建的基礎(chǔ)上計(jì)算二次曲面的，因此，該方法保證了無窮遠(yuǎn)平面對(duì)所有圖像的一致性。5、結(jié)束語
本文對(duì)基于機(jī)器視覺的攝像機(jī)標(biāo)定理論與各種方法進(jìn)行了研究。傳統(tǒng)的攝像機(jī)標(biāo)定需要標(biāo)定參照物。為了提高計(jì)算精度，還需確定非線性畸變校正參數(shù)。而新的比較符合攝像機(jī)成像物理模型且又便于分析計(jì)算的實(shí)用模型是條另辟蹊徑的發(fā)展方向。攝像機(jī)自標(biāo)定相對(duì)于傳統(tǒng)方法有更好的靈活性和實(shí)用性，通過十多年的不懈努力，理論上的問題已基本解決，目前研究的重點(diǎn)是如何提高標(biāo)定算法的魯棒性以及如何很好地用這些理論來解決實(shí)際視覺問題。為了提高魯棒性，建議更多的使用分層逐步自標(biāo)定方法，并應(yīng)對(duì)自標(biāo)定的結(jié)果進(jìn)行線性優(yōu)化。
申明：感謝原創(chuàng)作者的辛勤付出。本號(hào)轉(zhuǎn)載的文章均會(huì)在文中注明，若遇到版權(quán)問題請(qǐng)聯(lián)系我們處理。
?
----與智者為伍?為創(chuàng)新賦能----
【說明】歡迎企業(yè)和個(gè)人洽談合作，投稿發(fā)文。歡迎聯(lián)系我們誠招運(yùn)營合伙人 ，對(duì)新媒體感興趣，對(duì)光電產(chǎn)業(yè)和行業(yè)感興趣。非常有意者通過以下方式聯(lián)我們！條件待遇面談聯(lián)系郵箱：uestcwxd@126.com
QQ：493826566
