----與智者為伍 為創新賦能----
一、基于機器視覺檢測技術現狀
機器視覺是以普通計算機視覺研究為基礎，并且同時涉及到光源照明技術、高速圖像采集等方面實用技術的研究。在工業中，利用機器視覺構建一個完整的工業視覺應用系統需要結合多種技術，其中涵蓋了機械工程、傳感器、光學成像、運動控制、圖像處理等方面。圖1-1顯示的是實際工業中機器視覺系統整體框架，主要包括被測目標、光源、光學成像系統、圖像捕捉系統、圖像采集與數字化、智能圖像處理模塊和運動控制模塊。
隨著科技的進步，機器視覺的發展速度也越來越快，國外的一些研發機構都開發出了很多基于圖像處理的機器視覺系統軟件，例如MatroxImaging Library(MIL)、Halcon、Matlab以及開源庫OpenCV 等。由于這些軟件在圖像上具有很強大的處理能力， 所以已經被廣泛的運用到實際的工業生產中了。目前，在機器視覺方面有兩類算法，分別為數字圖像處理算法和基于卷積神經網絡的深度學習算法。
（1）基于數字圖像處理的方法，主要通過圖像處理等操作得到膠層的面積、質心以及自定義的復雜度公式進行對膠層的質量判定。傳統的基于數字圖像處理的方法具有操作簡單，參數較少的優勢，但也存在易受光照等客觀因素影響，膠層分割效果差、缺陷分類差、通用性較差等缺點。
（2）隨著大數據時代的來臨，各類信息資源的輕易獲取使得深度學習的應用也越來越廣泛。特別是在卷積神經網絡中，圖片被深度卷積和池化之后，隱含層能夠表現出比手動獲取更加具有泛化性和抽象性的特征，從而在識別分類上取得了很好的效果。深度學習的出現為點膠缺陷的識別帶來了更大的可行性。但深度學習需要足夠多的訓練數據和強大的計算能力，使得其在許多領域內的落地和應用受到了制約，而這也會直接影響到點缺陷膠的檢測效率。?
二、點膠檢測系統的光學檢測方案
在進行點膠缺陷檢測的過程中，圖像信息的持續和穩定獲取也是至關重要的一步，圖像的好壞對于算法的設計困難程度有著很大的影響，因此，在點膠缺陷檢測系統的設計過程中，需要對光學檢測時的硬件進行選型。如圖2-1所示，考慮到膠條為透明膠，存在反光現象，所以要求光源在各個角度的光照程度較為均勻，而同軸光具有高密度排列，成像清晰，亮度均勻等特點。此外，在要求光照亮度均勻的同時，由于部分膠條中存在氣泡，而同軸光源距離膠條存在一定的距離，采集到的圖片無法觀察到氣泡特征， 故考慮使用條形光源對膠條上方進行照射，使得氣 泡特征可見。由于垂直照射方式具有照射面積大、 光照均勻性好等優點，故同軸光源選擇垂直照射方式，而條形光源主要是為了對膠條進行光照加強， 同時為了不遮擋同軸光源，故選擇側面照射。?
圖2-1
三、點膠檢測系統的算法方案
3.1點膠缺陷的類別定義
在實際的點膠過程中，往往因為點膠量的大小、 點膠壓力、針頭大小、膠水的粘度以及膠水溫度等因素，導致生產的膠條會存在各種各樣的缺陷，從而影響產品的質量。工業生產中比較常見的幾種缺陷種類，其具體定義如下所示：
(1)多膠：膠條中間部分寬度大于其他部分，如圖 3-1 a)所示；
(2)少膠：膠條中間部分寬度小于其他部分，如圖 3-1 b)所示；
(3)斷膠：膠條出現一次或多次的斷裂，如圖3-1 c) 所示；
(4)扭曲：膠條整體存在多處彎曲現象，如圖3-1 d) 所示；
(5)氣泡：膠條中含有數目較多的氣泡，如圖3-1 e) 所示；
同時，在工業生產中符合生產要求的正常膠條如圖 3-1 f)所示。
對于點膠缺陷檢測有兩點要求:
(1)由于缺陷檢測的點膠圖像數量多，檢測需要的時間比較長，對檢測速度要求比較高;
(2)點膠缺陷圖片受環境影響存在質量上的不同，對于算法的準確性以及魯棒性有很大的要求。
3.2基于數字圖像處理的算法
在對膠條進行缺陷檢測之前，必須先得到膠條的圖片，而在實際的生產加工中，會將工件上的某塊區域作為Mark定位點，采用圖像匹配算法來尋找該Mark點的位置，從而得到膠條的具體位置，由此在工業攝像頭得到工件圖片后，無需對整幅圖片進行缺陷分析，同時也去除了一些干擾區域，方便了視覺算法的后續處理。以下為針對點膠缺陷相應的基于數字圖像處理的方法：
(1)多膠少膠：對于膠條多膠少膠的缺陷檢測，首先 對圖片進行相應的預處理操作，得到二值化圖像后進行膠條兩側輪廓的獲取，對提取到的輪廓區域進行水平和垂直方向的投影，通過計算像素值數量的最大值和最小值的差值以及像素值投影圖中曲線形狀來判斷是否存在缺陷和具體類型。
(2)斷膠：對于膠條斷膠缺陷檢測，根據膠條斷裂圖 片的特征，對圖片進行預處理后先進行閉運算，斷開膠條之間的細小連接，之后進行輪廓的獲取，通過計算各個輪廓所包含的面積來作為判斷缺陷是否存在的標準。
(3)扭曲：針對膠條扭曲缺陷檢測，通過計算尋找到 的輪廓的凸缺陷的面積(即輪廓面積與其凸包面積的差值)來作為判斷是否存在扭曲缺陷的標準。
(4)氣泡：檢測是否存在直徑和面積較大的氣泡。由 于氣泡的特征是圓形，所以利用霍夫圓變換來檢測圖片中的圓形數量，同時計算其面積，通過對面積和數量進行閾值設定，來判斷氣泡缺陷的存在。
圖3-2深度學習檢測系統搭建流程
· 深度學習模型的選擇
一般在利用深度學習算法進行缺陷檢測時，首 先要確定的是網絡模型。因為膠條種類分為6類，類別數量不是很多，故我們可選擇AlexNet、MobileNet 以及Lenet-5、U-net等網絡深度不同的或者更優質的網絡模型。
· 訓練方案改進
往往經典網絡模型的準確率不會特別高，并不 能滿足我們的需求，所以我們需要對訓練方法進行改進。通常通過數據增強、遷移學習以及改進網絡結構三個方面對模型進行改進。其中在實際生產中，一般在數據層上都有缺陷樣本圖片較少、缺陷樣本不均衡等等問題，而對模型進行訓練時，神經網絡的參數數量又非常巨大，要想使得這些參數正常工作則需要大量的數據進行訓練。
在工業領域中，可以在人為制造缺陷、數據增 廣、生成對抗網絡、遷移學習等手段解決相應的訓 練數據問題。如圖3-3為深度學習數據支撐手段。
在訓練過程中進行相應微調是必不可少的。過擬合現象在深度學習中屢見不鮮，如果網絡模型出現此類問題，那么該網絡就無法正常使用，為了解決這個問題，一般會使用模型集成的方法，即訓練多個模型進行組合。但是由于模型數量的增多，無論是訓練過程還是測試過程，都會帶來時間的浪費。由Hinton提出的dropout，在網絡訓練過程中，對網絡層中的參數以一定概率進行歸零操作，每一次訓練都可以看作是在訓練不同的神經網絡，所以dropout相當于是對多個網絡取平均，同時減少了神經元之間的復雜共適應性，可以有效地抑制過擬合現象。當然實際訓練過程中，網絡結構的改進方式有很多，沒有最優的模型，只有符合要求更優的模型。
四、結論
在實際的點膠過程中，由于多種因素的影響容 易出現各種缺陷，因此在對膠條進行缺陷檢測時， 更多的是采用機器視覺的方法，從而達到提高生產效率和降低成本的目的，進而使得產品更加具有競爭力。目前，在機器視覺方面有兩類算法，分別為數字圖像處理算法和基于卷積神經網絡的深度學習算法。針對基于數字圖像處理的視覺算法，在簡單的缺陷檢測方面成本較低，速度和精度也能夠達到要求，但是在算法層面缺少通用性，對于每一種缺陷都要設計特定的算法進行檢測。深度學習算法相對圖像處理算法在處理新類別的圖片方面較為簡單，對于不同的缺陷只要重新進行標注再訓練后就可以進行缺陷檢測，不僅如此深度學習算法對于復雜情況的缺陷檢測效果比圖像處理算法好，但是深度學習算法也有大量的圖片數據獲取成本較高、產線換 型檢測響應較慢的問題。當然，隨著深度學習的高速發展和當前大數據時代的信息獲取能力的增強，相信深度學習在未來會更多地落地到生活場景中去。
來源：機械視覺沙龍
申明：感謝原創作者的辛勤付出。本號轉載的文章均會在文中注明，若遇到版權問題請聯系我們處理。
?
----與智者為伍?為創新賦能----
聯系郵箱：uestcwxd@126.com
QQ：493826566
