----追光逐電 光引未來----
一，引言：
AOI（automatically optical inspection）是光學自動檢測，顧名思義是通過光學系統成像實現自動檢測的一種手段，是眾多自動圖像傳感檢測技術中的一種檢測技術，核心技術點如何獲得準確且高質量的光學圖像并加工處理。
AOI檢測技術應運而生的背景是電子元件集成度與精細化程度高，檢測速度與效率更高，檢測零缺陷的發展需求。AOI檢測的最大優點是節省人力，降低成本，提高生產效率， 統一檢測標準和排除人為因素干擾，保證了檢測結果的穩定性，可重復性和準確性，及時發現產品的不良，確保出貨質量。在人工智能技術與大數據發展進步的今天，AOI檢測不僅僅是一部檢測設備，對大量不良結果進行分類和統計，可以發現不良發生的原因，在工藝改善和生產良率提升中也正逐步發揮著更重要的作用，因此，可以預期未來AOI檢測技術將在半導體與電子電路檢測中將會發揮越來越重要的作用。
二，AOI檢測基本原理與設備構成：
AOI檢測原理是采用攝像技術將被檢測物體的反射光強以定量化的灰階值輸出，通過與標準圖像的灰階值進行比較，分析判定缺陷并進行分類的過程。與人工檢查做一個形象的比喻，AOI采用的普通LED或特殊光源相當于人工檢查時的自然光，AOI采用的光學傳感器和光學透鏡相當于人眼，AOI的圖像處理與分析系統就相當于人腦，即“看”與“判”兩個環節。因此，AOI檢測的工作邏輯可以簡單地分為圖像采集階段（光學掃描和數據收集），數據處理階段（數據分類與轉換），圖像分析段（特征提取與模板比對）和缺陷報告階段四個階段（缺陷大小類型分類等）。為了支持和實現AOI檢測的上述四個功能，AOI設備的硬件系統也就包括工作平臺，成像系統，圖像處理系統和電氣系統四個部分，是一個集成了機械，自動化，光學和軟件等多學科的自動化設備。
（1）圖像采集階段（光學掃描和數據收集）
AOI的圖像采集系統主要包括光電轉化攝影系統，照明系統和控制系統三個部分。因為攝影得到的圖像被用于與模板做對比，所以獲取的圖像信息準確性對于檢測結果非常重要，可以想象一下，如果圖像采集器看不清楚或看不到被檢測物體的特征點，那么也就無法談到準確的檢出。
下面我們對光電轉化攝影系統，照明系統和控制系統三個部分逐一分析介紹。
首先，光電轉化攝影系統指的是光電二極管器件和與之搭配的成像系統。是獲得圖像的”眼睛”, 原理都是光電二極管接受到被檢測物體反射的光線，光能轉化產生電荷，轉化后的電荷被光電傳感器中的電子元件收集，傳輸形成電壓模擬信號。二極管吸收光線強度不同時生成的模擬電壓大小不同，依次輸出模擬電壓值被轉化為數字灰階0-255值，灰階值反映了物體反射光的強弱，進而實現識別不同被檢測物體的目的。
光電轉化器可以分為CCD（charge Coupling diode）和CMOS（ complementary metal oxide semiconductor ）兩種。因為制作工藝與設計不同，CCD與CMOS傳感器工作原理主要表現為數字電荷傳送的方式的不同，工作原理如下圖所示，CCD采用硅基半導體加工工藝，并設置了垂直和水平移位寄存器，電極所產生的電場推動電荷鏈接方式傳輸到中央模數轉換器。這樣的結構與設計很難集成很多的感光單元，制造成本高且功耗大；而CMOS采用無機半導體加工工藝，每像素設計了額外的電子電路，每個像素都可以被定位，而無需CCD中那樣的電荷移位設計，對圖像信息的讀取速度遠遠高于CCD芯片，因光暈和拖尾等過度曝光而產生的非自然現象的發生頻率要低得多，價格和功耗比CCD光電轉化器也低，但其缺點是半導體工藝制作的像素單元缺陷多，靈敏度會有一些問題，同時，為每個像素電子電路提供所需的額外空間不會作為光敏區域。芯片表面上的光敏區域部分（定義為填充因子）小于CCD芯片。從理論上講，這個原因導致可以收集的圖像信息光子數會有所減少，所以，CMOS光電轉化元件一般需要搭配高亮度光源，噪音也比較大。
不論CCD還是CMOS結構，一個光電轉化器單元即為一個像素點，若干個光電轉化器以行列的方式進行排列形成矩陣就構成了圖像傳感器。衡量圖像傳感器性能主要是有解析度，尺寸或面積，靈敏度，信噪比等，其中解析度與尺寸是最重要的指標。圖像傳感器拍攝被檢測物體畫面時，光電轉化器的尺寸越小像素密度越小就可以將物體“看”得更細致。因此，理論上光電轉化器件的像素數量應該越多越好。但像素數量的增加會提高制造成本和導致成品率下降。因此，將光學透鏡與光電轉化器件結合在一起，可以將微小的被檢測物體放大成像在光電轉化器件上，也可以實現高解析度檢測效果，所以，實際AOI檢測設備會根據客戶的需求進行配置。
近年來，CMOS制作工藝的半導體技術化，加上其快的掃描和圖像傳輸速度優勢，CMOS面掃描圖像傳感器也開始被采用在工業級AOI檢測設備中， 逐步形成了線掃描CCD圖像傳感器和CMOS面掃描圖像傳感器兩種主流技術。
下圖例為線掃面圖像傳感器工作例：
線掃描圖像傳感器的掃描寬度方向只有一個像素，通過移動來獲得圖像，沒有自身放大電路且噪音小，所有一般解析度比較好。被檢測物體的同一位置信號在掃描過程中會被多次收集，光電轉化后的信號累加輸出，所以即使其中一個光電傳感器出現問題也不影響檢查結果，但缺點是要求平臺的運動精度非常高，采集區域要準確。
面掃描圖像采集器CMOS的每一個光電二極管都可以獨立輸出電壓信號，因此，輸出速度非常快，節省了工作時間，因此，對運動平臺的移動精度要求沒有線掃描那么嚴格，但缺點是信號沒有了積分過程，要求被檢測物體反射光要足夠強，感光二極管出現問題后會造成假點和誤判，信號的噪音也會相應增強。
近年來，平板顯示行業的玻璃基板尺寸不斷增加和工藝節拍不斷縮短，對自動光學檢測設備的檢測速度 （TACT time）提出了更高的要求。以色列奧寶科技利用了CMOS圖像傳感器極高的圖像信息獨區和處理速度優勢，基于對CMOS 圖像傳感器的深刻理解基礎上，客制化的開發了數據傳輸與幀頻速度高的面陣相機，并系統解決了面陣CMOS傳感器，光源以及同步性等系統問題，成功開發了基于面陣CMOS 圖像傳感器的AOI檢測系統，在保證產業要求的工藝節拍同時，克服了CMOS圖像傳感器填充因子小和信噪比偏高先天劣勢，檢測能力及各項指標都得到了行業內的認可。
除光電傳感器外，AOI圖像采集過程中照明系統也非常重要，選擇最佳光源目的是保證被檢測物體的特征區別于其他背景，涉及到光源的光譜特性，光源顏色，色溫特性。高效率長壽命，高亮度且均勻的光源是必須考慮的參數，高亮度均勻性好的光源可以提高信噪比，而長壽命高效率則可以提高設備的穩定性，降低工作負荷。
照明光源按照波長分類可以分為可見波長光源，特殊波長光源。可見波長光源也就是一般現代工業AOI檢測設備中最常用的紅綠藍LED光源。特殊波長光源一般是指紅外或紫外波長光源，一些特殊材料在可見光范圍內吸收差別不大，灰階變化不明顯時可以考慮采用特殊波長光源，比如說利用紫外光能量高可以激發熒光材料的原理，檢測具有熒光發光特性物質微殘留時紫外光源就是一種比較有效的手段，因材料成分與紅外光譜有對應關系的原理，紅外光源對不具有發光性質的有機化合物殘留缺陷檢出就有很大的作用，甚至可以實現成分分析。特殊光源中，利用偏振光與物體相互作用后偏振態的變化，利用光學干涉原理的白光干涉（white light interferometry）在特定缺陷檢測中的得到了應用，例如通過相干光的干涉圖案計算出對應的相位差和光程差，可以測量出被測物體與參考物體之間的差異，且分辨率與精度為可以達到亞波長，測量三維物體形貌與高度也正成為AOI檢測的新需求。（下圖為側光源與同軸光源實例）
除波長參數外，光源的入射角度也是提高檢出的重要參數。根據光源入射角度的不同分為同軸光源，側光和背光三種，選擇某種角度的光源是由光在被檢測物體表面散射特性的差異最大化來決定的。同軸光源的燈源排列密度高，亮度高且均勻，能夠凸顯物體表面不平整，克服表面反光造成的干擾，主要用于檢測物體平整光滑表面的碰傷、劃傷、裂紋和異物。 同軸光基本是紅、綠、藍三色光源，也可以是不同波長光源的任意組合。側光源與同軸光源的平行照射理念正好相反，低角度光源從很小的角度將光線直接照射到被檢測物體上。由于光的方向幾乎與物體表面平行，物體表面高度的任何變化都會改變反射光到光電傳感器的光路，從而突出變化，適合有一定高度的缺陷物檢出。側光源的角度與高度變化時，有一定高度的被檢出物體的強反射面（陽面）和弱反射面（陰面）的角度和反射光強度都會有變化。為檢出結果的判定提供了豐富的信息。背光源的原理則是利用被檢測物體中不同部分光透過率差異實現檢出的方法，硬件上與其他光源的擺放位置不同，光源不與光電傳感器同側，而是置于光電傳感器的對面，接受被檢測物體透過光的強弱，適合被檢測物體中有缺失部分檢出。
基于對平板顯示工藝的深入理解，以色列奧寶科利用CMOS掃描幀頻快的特點，將上述不同光源類型，強度與待檢測面板的材料進行有針對性考察，在不增加工作節拍的同時進行多種掃描條件的交叉確認，實現了極低的誤檢出，極高的檢測精度和準確率。
AOI圖像采集的最后一個關鍵步驟是控制系統，光電傳感器的FOV （視窗）有限，物體高速運動中準確地抓拍到清晰的圖像，軟硬件協調動作非常重要，如下圖所示，當圖像傳感器與機臺移動速度不匹配時造成圖像的拉伸，收縮等變形，所以，載物移動平臺XY方向移動與圖像采集光電傳感器的同步移動影響到數據的準確，要在固定光照，等間距下拍攝一幅清晰的圖像，高精度的導軌，電機和運動控制程序是非常必要的。
（2）數據處理階段（數據分類與轉換）
數據處理階段是圖像的預處理階段，是采集圖像的加工處理過程，為圖像比對提供準確可靠的圖片信息，主要包含了背景噪音減少，圖像增強和銳化等過程。圖像背景噪音減小一般為圖像的低通濾波平滑法，圖像增強和銳化則是提高被檢測特征的對比度，突出圖像中需要關注的特征，忽略不需要關注的部分，方法是圖像二值化處理，經過二值化處理的圖像數據量明顯減少，能凸顯出需要關注的輪廓。
首先濾波的定義是將信號中特定波段頻率濾除的操作，是抑制和防止干擾的一項重要措施。在AOI檢測中，噪聲是造成圖像退化的因素之一，起因是AOI圖像獲取，傳輸過程中，外界雜散光，光電二極管電子噪聲及溫度，光源的不穩定不均勻，機械系統的抖動，傳感器溫度等原因導致，不可避免的使得圖像因含有噪音而變得模糊。給圖像識別，圖像切割等后續處理工作帶來了困難。因此，為了獲得真實的圖像信息，除去噪聲的濾波處理必不可少。
濾波的過程簡單說就是圖像平滑技術，空域濾波與頻域濾波是濾波經常采用的方法。具體講空域濾波是一種鄰域處理方法，通過直接在圖像空間中對鄰域內像素進行處理，達到平滑或銳化，圖像空間中增強圖像的某些特征或者減弱圖像的某些特征。頻域濾波指的是允許或者限制一定的頻率成分通過。在數字圖像處理中，線性濾波通常是利用濾波模板與圖像的空域進行卷積來實現。濾波的方法很多，要達到好的使用效果和目的，必須對圖像中的噪音類型有所了解，才能做到有的放矢。
空域濾波中鄰域處理平滑的具體方法有均值，中值和K領域均值三種，合理性各有利弊。 均值濾波是采用鄰域平均法，基本思想是對一個像素和他臨近區域的全體像素取平均值，然后把這個計算出來的均值賦予給輸出的圖像的相應像素，實現圖像的平滑處理。屬于線性濾波。 中值濾波是把一個像素點鄰域窗口內的所有像素點灰階值的中間值作為該像素點的灰階值，是基于排序統計理論的信號處理技術，對于隨機噪聲處理能力好，屬于典型的非線性濾波技術。K鄰域均值濾波技術是結合了中間值濾波和均值濾波的特點，主要思想是在待處理像素點鄰域內，找到一像素灰階值最接近的K個像素點，計算這K個像素點灰階均值來代替原像素點的灰階值，對于孤立不規則的像素點起到很好的濾波作用。
圖像的平滑除了在空間域中進行外，也可以在頻率域中進行。頻域濾波簡單說就是在頻域里，采用簡單平均法求頻譜的直流分量。可以構造一個低通濾波器，使低頻分量順利通過而有效地阻于高頻分量，再經過反變換來取得平滑的圖像。頻域濾波可以分為高斯濾波，巴特沃斯濾波，梯形濾波等。由于噪聲主要集中在高頻部分，阻擋高頻率噪聲處理后就可達到平滑圖像的目的。
除圖像平滑處理外，圖像增強處理也是圖像預處理的常用方法，分為頻域和空域兩種。頻域增強是在圖像的變換域上對圖像進行運算，然后再將計算后的圖像進行逆向變換轉到空間域。空域增強則是直接在空域對圖像的像素進行運算處理，常見的是直方圖處理和灰階變化。空域增強的方法主要是直方圖法，還有差影法和灰度變化法。
圖像直方圖（HE， Histogram Equalization）指圖像中任意一個像素分布在某灰階等級上的概率密度，反映出各個灰階的分布概率，是一種經典的統計性質的圖像增強處理法，用于增強動態范圍偏小的圖像反差，圖像整體對比度得到明顯增強。當選取合適的閾值做削波處理后，將有圖像傳感器產生的灰階圖像中低于該灰階的部分與高于該灰階的部分做絕對黑白灰階處理，對比度得到大大增強，有利于缺陷的觀察與判定。
合適閾值消波是根據不同應用場合有不同的閾值取值方法。二值化是最簡單的處理方法，就是包像素點的灰階值定義為0和255兩種極端值，這樣就可以讓整個圖像有突出的黑白效果，給圖像設定適當的閾值，經過二值化處理后的圖像數據量明顯變少。此外還有全局閾值法，最小偏態法和自適應閾值等，全局閾值法是根據整個圖像的灰階值范圍來決定，就是取灰階平均值閾值作為唯一的閾值進行二值化處理，有時取整個圖像的灰階值的直方圖，進而確定合適的閾值，一般情況下選擇兩個波峰之間的波谷最低位置作為圖像二值化處理的閾值。
關于最小偏態法，是隨機樣本的數據平均值是樣品的一階統計距，衡量數據的平均值，樣本的方差是樣本的二階統計中心距，用來衡量數據的離散程度，偏態是樣本的三階統計距，用來衡量數據的正太分布。當閾值取得合理時，被閾值劃分后的背景與物體的灰階值分布就會最接近正太分布。自適應閾值分割法，是加入了學習的方法，能夠根據圖像的不同，選擇最優化的閾值。
直方圖細分為直方圖拉伸法和直方圖均衡法，直方圖拉伸法是通過對比度拉伸來調整直方圖，進而增強前后景物的灰階差實現增強效果；直方圖均衡法是領用累積函數來修正灰階值從而達到對比度增強的目的。直方圖某種意思上也是圖像分割的手段。直方圖增強屬于間接對比度增強方法，
差影處理法是將圖像的背景去除來強化圖像中新增加元素的差影處理手段。將標準圖像部分與檢測圖像部分做差影處理，通過設定臨界閾值也可以將圖像中的缺陷部分找尋出來，是直方圖二值化的另外一種表現形式 屬于直接對比增強方法。
灰度變換法，灰階變化是解決過度曝光或曝光不足而導致圖像的灰階值分布不均勻的問題，通過灰度變換包圖像的灰度再一次均勻化來達到圖像增強對比的效果，擴大了動態灰階范圍，突出圖像的特征。
圖像銳化處理是指補償不清楚圖像的輪廓，增強灰階跳變的部分和圖像的邊緣， 因為圖像平滑處理的同時也會破壞圖像的邊界輪廓，使得邊界變得模糊。圖像平滑的過程是一個積分或平均值的計算，因此，銳化就是其反方向的微分運算，具體方法有拉普拉斯算子，微分算子和Sobel算子。 拉普拉斯算子是歐幾里得空間的一個二階微分算子，表示為梯度的散度，在圖像處理中被用于線性銳化濾波器使用。微分算子的物理意義，微分標識一個物理量的變化快慢，圖像處理中微分預算的值愈大說明區域灰階值的變化與快，邊緣就會越突出。Sobel算子會產生一個相應的梯度矢量，包含了兩組3X3的矩陣，橫向與縱向。邊緣模糊是圖像中的高頻分量被衰減，所以，采用高通濾波方法就可以讓圖像邊緣清楚化。
關于頻域增強方法是通過改變圖像中不同頻率分量來實現的，不同的濾波器濾除的頻率和保留的保留的頻率不同，可獲得不同的增強效果，其方法步驟分為先將圖像從圖像空間轉換到頻域空間，如傅里葉變化，然后在頻域空間對圖像增強，如玉頻率濾波器相乘， 最后增強后的圖像再從頻域空間轉化到圖像空間，做傅里葉的反變換。
（3）圖像分析段（特征提取與模板比對）
圖像分析階段就是將圖像中包含的邊，角和區域等擁有獨有屬性的特征，使用數學手段通過編程實現圖像屬性的量化表達。進而進行圖像的分割后比對完成分析處理。
邊緣的表現形式是組成兩個圖像區域之間邊界（或邊緣）的像素。 表現為局部一維結構。實踐中邊緣一般被定義為圖像中擁有大的梯度的點組成的子集，可以認為灰階相同點的集合。角是圖像中點的特征，在局部它有兩維結構，現在的主流算法是直接在圖像梯度中尋找高度曲率，可以在圖像中本來沒有角的地方發現具有同角一樣的特征的區域。區域的表現形式是面形式的區域結構，區域的大小可能僅由一個像素組成，也可能是一個比較多的像素組成的面，如果面積比較大，則體現的形式即是灰階值相同的區域。
特征提取的方法主要是HOG，LBP和HAAR三種主要手段，HOG （Histogram of Oriented Gradient）方向梯度直方分布圖，它的大致做法是將歸一化的圖像分割為若干小塊，再在每一小塊內進行亮度梯度的直方統計，最后將所有區塊的亮度梯度的直方統計串聯起來，就構成圖像的HOG特征；LBP（Local Binary Patterns）即局部二值模式，它通過遍歷圖像，將每一個像素點周圍的像素與其相比較，比較值大于等于為1，比較值小于為0，得出四周的二值將這些二值連起來得到一個二進制的數，轉換為10進制之后變為該像素的LBP值，所以LBP特征維度大小是和原圖一樣大的（邊緣部分會做特殊處理）。Haar特征起初是用于人臉表示。它包括了三類特征邊緣特征的線性，中心和對角線特征，組合成特征模板。特征模板內有白色和黑色兩種矩形，該模板的特征值為白色矩形像素和減去黑色矩形像素和。Haar特征值反映了圖像的灰度變化情況。
圖像分割主要有兩種方法：一是鑒于度量空間的灰度閾值分割法。它是根據圖像灰度直方圖來決定圖像空間域像素聚類，但它只利用了圖像灰度特征，并沒有利用圖像中的其它有用信息，使得分割結果對噪聲十分敏感。二是空間域區域增長分割方法。它是對在某種意義上如灰度級、組織、梯度等具有相似性質的像素連通集構成分割區域。該方法有很好的分割效果，但缺點是運算復雜，處理速度慢。其它的方法還有如邊緣追蹤法、錐體圖像數據結構法、標記松弛迭代法、基于知識的分割方法等等。
特征提取后進入圖像分析階段的邏輯比較階段，主要包含了模板匹配和模式分析二個方面。模板匹配就是先設定已知模板，已知模板是AOI檢測中沒有缺陷的實物影像或最小重復單元影像，通常情況下PCBAOI檢測中以實物影像為已知模板，FPD AOI檢測中則是最小重復單元。將采集到的圖像與模板影像進行重合比對，然后平移到下一個單元進行同樣比對，出現灰階有差異的部分就被懷疑為缺陷，這里我們給灰階差異設定一個閾值，當灰階差超過設定閾值后，就被判定為真正的缺陷。從細節上講，閾值的設定過于嚴格出現誤判的概率就會增加，而閾值設定過于寬松漏檢出的概率就會增加，因此，被檢測物體的特征提取可以提高比對的對位精度，進而對檢測結果起到了決定性的作用。
此外，缺陷部分是否上報時，系統算法主要有增加比對次數和范圍（Multi check）。增加對比次數，也就是比對的維度從一維擴展到二維，甚至三維。以下圖為例，當要判定紅色單元是否為缺陷時，通常的算法是縱向或橫向的一維比較，隨著算法的邏輯關系的不斷優化，先進行縱向重復模板對比，再增加橫向，對角線，甚至更外圍的模板比較，可以大大提高檢測結果的準確度。
此外，模板比較時即便進行了多次數比較，仍有不容易判定的情況，這時可以追加多重判定算法，以下圖為例，例如一種光源檢測時所得到的信息往往是有限的，將多種光源掃描的信息合并在一起綜合判定，會進一步提高判定的準確性。其中，典型的多角度判定方法之一是多重閾值設定模式（MTS：multi Thresholds system），針對不同缺陷物質的特性對不同波長光的敏感度不同分別設定閾值，一般采集不同光學波長下的灰階值，并追加三者之間判定的邏輯關系達到提高檢出正確性。在實際應用中，將以上方法相結合，通過對采集圖像進行預處理去噪，對影響增強，進行多重邏輯關系判定可以達到很好的效果。
隨著現代電子產品的高精細化發展，微小缺陷的檢出要求越來越高，提高圖像傳感器解析度是一種比較直接的選擇，對細微缺陷點，線寬有更強識別能力，但檢測能力提升的同時，也必須考慮到設備成本問題，IP（image processor）處理量大，數據處理能力要求高，甚至出現影響產能等負面問題，因此，不會單獨提高硬件成本，搭配合適的光源，提高后臺算法邏輯對同一缺陷進行復判是各AOI公司重點研發的方向。
參考文獻：
【1】自動光學(視覺)檢測技術及其在缺陷檢測中的應用綜述。盧榮勝 , 吳昂 , 張騰達 , 王永紅 光學學報 2018年08期
【2】 www.baslerweb.com
【3】https://ndt.hamamatsu.com/eu/en/image_devices/tdi_line_scan_cameras.html
【4】http://www.teledynedalsa.com/en/learn/knowledge-center/tdi-primer/
【5】 數字工業相機中CMOS傳感器的最新發展 雷曉峰，李燁，傳感器世界， 2017 Vol.23 Page 6-10
【6】 CCD和CMOS圖像傳感器性能比較， 黃美玲， 張伯珩， 邊川平， 李露瑤，達選福，科學技術與工程， 2007，Vol 7， No2， Page 1671-1815
【7】 機器視覺照明光源關鍵技術研究, 李俊， 天津理工大學, 2006, 碩士論文
【8】基于線陣掃描的自動光學檢測系統關鍵技術研究, 陳鎮龍, 電子科技大學, 2013, 博士論文
【9】自動光學檢測儀的圖像采集處理系統的研究, 魏建英， 電子科技大學， 2009， 碩士論文
【10】自動光學檢測系統中圖像處理技術研究, 王雁玲, 天津大學, 2009, 碩士論文
【11】 基于計算機視覺的自動光學檢測關鍵技術與應用研究，謝飛， 南京大學，2013，博士論文
申明：感謝原創作者的辛勤付出。本號轉載的文章均會在文中注明，若遇到版權問題請聯系我們處理。
----與智者為伍 為創新賦能----
聯系郵箱：uestcwxd@126.com
QQ：493826566
