作為電子產品最重要的組成部分，印刷電路板（PCB）的設計日趨復雜和器件尺寸的縮小，促使對 SMT 可靠性提出了更高的要求。因此對于 SMT 電路板的檢測研究具有深刻的現實意義和經濟價值。
在 SMT 工藝中，貼片器件焊點的好壞會嚴重影響 PCB 板的質量。輕則會導致可靠性下降，重則可能導致電路燒毀。為了能夠確保將 PCB 板應用到高質量、 高可靠性的電子產品中，提高產品合格率，對焊點的缺陷檢測是十分必要的。
本作品屬于 SMT 工藝檢測中的焊點檢測領域，可區分良好焊點以及虛焊漏焊、短路、多錫、偏移等缺陷焊點情況。
作品可應用于小型的 SMT 貼片廠對批量 PCB 電路的焊點可靠性進行檢測，或者電子維修領域對電路板進行輔助分析觀察，同樣也可在個人開發者對焊接電路的檢測，相比傳統方法可以大大降低人力和設備成本。
目前，在國內外印刷電路板焊點質量檢測的主要方法有：人工目測、自動光學檢測、自動射線檢測等方法。
人工目測法是目前最簡單的方式，但受檢測員主觀性影響較大，且檢測速度低、錯誤率高。
自動光學檢測法（AOI）采用 CCD 攝影的形式獲取元件和印刷電路板的圖像，可實現自動化檢測，但儀器成本較高，往往需數十萬元。
自動射線檢測（AXI）采用 X 光對 PCB 板進行掃描，可對球柵陣列（BGA） 等封裝進行檢測，但價格相比 AOI 儀器更加昂貴。
本作品采用基于機器視覺的檢測方式，模擬人類視覺的智能行為，把所需要的信息從圖像中提取、處理和分析，其具有成本低、抗干擾性強、魯棒性強、可有效處理無規律和復雜背景缺陷等特點。
機械位移系統參數：
電源額定電壓：24V
電源額定電流：6A
電機運行速度范圍：5mm/s—80mm/s
步距角：1.8°
最小運動距離：25um
絲桿有效行程：200mm
絲桿螺距：5mm
PCB 板掃描時間：T<40s （在 100mm*100mm PCB 以 50mm/s 掃描速度下測得）
成像系統參數：
攝像頭像素：500w 像素
攝像頭幀率：30 幀/s
物鏡：0.7x-4.5x
目鏡：0.35x Yolov3
算法參數：mAP
平均精度(mean Average Precision)：84.3%
Yolo loss：11.2
處理速度：10fps/s（基于 zynq ultrascale 開發板部署下每秒預測圖片的速度）
（1）YOlO 算法相比于 R-CNN 等算法對算力要求更小、運行速度更快，適合在 FPGA 上進行部署，且其有著較好的泛化能力，能有效減少背景錯誤。
（2）基于機器視覺的檢測方式，相比于傳統 AOI 光學檢測方法，其對復雜背景下缺陷檢測識別效果更好，抗干擾能力更強。
（3）不受限于缺陷本身形態，不依賴手工規則，可對算法進行迭代復用。
（4）可對 PCB 板進行全自動掃描，實時在顯示屏和 PC 上位機上顯示，保存缺陷焊點圖片及坐標位置。并對感興趣的缺陷焊點進行溯回，將其移動至攝像頭下觀察。
我們的系統主要由光學成像部分、圖像處理部分，機械控制部分及人機交互界面四個部分組成。
光學成像部分主要由三維可調相機支架、USB 攝像頭、目鏡物鏡和可調圓形光源組成。
圖像處理部分則通過一塊 zynq ultrascale 開發板連接攝像頭，在 PL 端部署 yolov3 神經網絡，將攝像頭傳回的圖片進行焊點檢測，通過 7 寸 HDMI 顯示屏顯示處理標注后的圖片，并將有缺陷的焊點圖片通過TCP協議傳輸至PC上位機。
機械控制部分則由一塊 PYNQ 開發板、42 步進電機、驅動電路板、限位器和雙軸滑臺組成，同樣通過 TCP 協議與上位機進行指令和數據傳輸，控制位移平臺運動。
人機交互界面則是在 PC 上采用 PyQT 進行界面編寫，作為 TCP 服務端，通過一個交換機將兩塊開發板連接在同一局域網下，實現協同操作。
光學成像部分主要由三維可調相機支架、USB 攝像頭、目鏡物鏡和可調圓形光源組成，示意圖如下圖所示。
USB 攝像頭采用型號 XGY300 的免驅彩色攝像頭，CMOS 傳感器大小為 1/2 英寸，像素大小為 300w，物鏡為 0.7x-4.5x，目鏡為 0.35x，放大倍數在 3-130 倍可調。
電機控制部分硬件結構由 PYNQ、42 步進電機、驅動器、雙軸導軌滑臺、限位器和光耦組成。軟件部分由上位機與 PYNQ 通過 TCP 協議通信完成對應控制。
整體結構如下圖所示：
軟件流程如下圖所示：
(a)硬件設計
整體硬件 PCB 設計如下圖所示：
電機驅動部分設計：
A4988 是一款完整的微步電機驅動器，內置轉換器，操作簡便。它設計用于以全步，半步，四分之一，八分之一和十六分之一步模式操作雙極步進電機，輸出驅動能力高達 35V 和±2A 電流。A4988 包括一個固定的關斷時間電流調節器， 能夠在慢速或混合衰減模式下工作。細分驅動是減小步距角、提高步進分辨率、 增加電機運行平穩性的一種行之有效的方法，本設備使用 16 細分，能夠滿足高精密定位的要求。
光耦檢測電路設計：
光耦選用 6N137，輸入 0~24V，輸出 0~3.3V，采用共陰極接法。當金屬滑臺靠近限位器時，限位器信號線輸出高電平，使光耦打開，PYNQ 引腳被置位， 作為電機停止信號。
（b）機械部分設計：
電機部分選用兩相式 42 步進電機，其步距角為 1.8°，額定電流為 1.5A， 力矩為 0.7Nm。
采用雙軸導軌滑臺，可在 X 軸、Y 軸方向移動，有效行程均為 200mm，單圈行程為 5mm。
限位器選用 SN04-P 金屬傳感器固定在滑臺上，額定工作電壓為 10~30V， PNP 常開，有效輸出信號為高電平，測量距離為 5mm，用以對控制電機起始位置。
（c）軟件指令設計：
上位機通過 TCP 協議發送指令給 PYNQ，從而控制電機對待檢測 PCB 進行復位、十字掃描、定位以及實時獲取坐標等操作。指令格式如下表：
（a）焊點情況分類
焊點情況的分類如下圖所示，包含正常、多錫、少錫、漏焊、短路、偏移六種情況。
（b）數據集標注
數據集采用 labelImg 軟件進行標注，對應英文名稱如下
c）YOLO 算法介紹
YOLO 是一種采用卷積神經網絡(CNN)實現端到端目標檢測的算法。其運用回歸的思想，將目標檢測看成是一個回歸的問題，能夠實時預測多個目標的類別和目標邊框的位置，另外 YOLO 采用滑動窗口的方式尋找目標，與傳統的基于候選區域方式不同，它直接利用整幅圖片訓練網絡模型。
YOLO 經過不斷改進已經從 YOLOv1 發展到 YOLOv5，本系統搭載的 YOLOv3 網絡模型由骨干網絡 Darknet-53 和 YOLO 檢測層組成[8]，骨干網絡主要從圖像中提取特征，YOLO 層用來預測類別和位置信息，Darknet-53 有 5 個不同尺度和深度的殘差模塊，每個殘差模塊借鑒 Resnet 結構，由一對連續的 3×3、1×1 卷積層和跳層連接組成，克服梯度消失以及精度下降問題，增強了特征表達能力。其神經網絡結構如下圖所示。
（d）焊點識別的訓練過程：
制作數據集：
在待檢測的板子上通過灰度處理，高斯模糊和調節攝像頭放大尺寸的方法拍攝 300 多張照片，并進行標注。將百分之九十五的圖片處理為訓練集，剩下百分之五的圖片為測試集。
圖像增強：
將輸入圖片的數據進行歸一化，使用（以 R 為例）的方式，并且在訓練預處理和拍攝過程都加入了一定程度的高斯噪聲，以期待將光照強度對于 pcb 檢測的影響降到最低。
訓練過程：
在訓練最好的模型之前。我們對于 100 多張 pcb 圖片的數據集進行過兩次訓練。在迭代 200-300 次左右（基礎學習率為 2.5e-06）訓練結果不太理想（loss 僅 為 45）。在最后一次訓練，選擇迭代 3000 次，基礎學習率為 0.0025 在第 500 次 1500 次 2500 次中學習率以 10 的倍率衰減三次，從而獲得比較滿意的結果 （loss=9.7，mAP=0.95）（測試集）
軟件界面采用交互式界面設計風格進行設計[9]，使用戶可以方便簡潔地通過界面接收圖像、控制電機、獲得可視化結果，并可在軟件界面中對檢測最終結果進行展示。
PyQt 是 Python 中用來建立圖形化用戶界面的庫，它具有 300 多個類和約 6000 個函數，目前 PyQt 可用的版本己更新至 PyQt5，其優勢之一在于可以在所有主要計算機操作系統上運行，如 Mac，Unix 和 Windows。PyQt 在使用上完全繼承了 Python 易學易用的特點，非常適合非計算機專業的科研人員使用。
本系統按照前幾節中對軟件功能需求的詳細分析進行界面功能的具體實現， 使用 Pyqt5 設計的 GUI 界面如下圖所示。
該界面主要由三大部分組成，左側部分通過 TCP 協議與 Zynq ultrascale 開發板通信，負責接收帶有缺陷焊點的圖片數據、接收或發送文本數據，主要包括連接和斷開連接按鈕、缺陷溯回按鈕以及接收和發送信息按鈕。
中間部分通過 TCP 協議發送相關指令給 PYNQ，使其控制電機運動，實現目標板圖像數據的采集，共有復位、坐標詢問、十字掃描、手動移動、缺陷溯回五大功能。
右側用于輸出日志信息，方便觀察系統整體狀態。
光學成像部分已完全搭建完畢，通過夾具固定攝像頭器件，并可對攝像頭進行兩個維度的手動調節，在物鏡下安裝了一個可調白光光源用于照明。
機械控制部分目前已全部完成并進行了制板及測試，可實現對兩個電機協同控制，以及接近開關信號的檢測。
上位機部分已經完成與機械控制系統的聯調，可通過上位機實現共有復位、 坐標詢問、十字掃描及手動移動功能，目前正在開發對網絡圖像的實時傳輸和缺陷溯回功能。
圖像處理部分目前已將 YOLO 神經網絡算法部署至 ZYNQ Ultrascale 開發板 上，可正常進行攝像頭讀取、檢測焊點圖片并對各類焊點進行標注，通過 HDMI 顯示屏輸出處理后圖片。
我們對 PCB 板進行放大拍攝并做灰度處理，再對處理后的圖片進行標注制作成數據集送入神經網絡訓練，以下為在測試集上的測試結果：
根據測試結果，基本可以完成對焊點缺陷的檢測，且置信度較高，但仍存在漏檢的情況，后續需要對算法進一步優化以及對數據集進行補充。
本作品目前已初步完成功能，預計在之后作品可進行如下擴展：
（1）收集各類 PCB 板，針對不同封裝下各類焊點，制作更多的數據集， 提升算法精度。
（2）考慮和物聯網進行結合，檢測數據的同時上傳焊點圖片，減小人工的工作量，進一步獲取更多數據。
（3）嘗試采用其他機器學習算法，如 SSD 算法等進行實驗，尋找更優的機器學習算法。
（4）考慮針對復雜 PCB 場景下（如電腦、手機主板），它們芯片封裝往往焊點不露出，可增加紅外攝像頭或 X-ray 方式獲取焊點圖片。
（5）為進一步提升檢測的準確性，可以考慮采用 3D 系統設備。
（6）增加更多視覺方面的檢測（如 PCB 表面清潔程度等）。
（7）優化機械結構，選用更優的攝像頭，提升檢測圖像穩定性。
往期精選
FPGA技術江湖廣發江湖帖
無廣告純凈模式，給技術交流一片凈土，從初學小白到行業精英業界大佬等，從軍工領域到民用企業等，從通信、圖像處理到人工智能等各個方向應有盡有，QQ微信雙選，FPGA技術江湖打造最純凈最專業的技術交流學習平臺。
FPGA技術江湖微信交流群
加群主微信，備注姓名+學校/公司+專業/崗位進群
FPGA技術江湖QQ交流群
備注姓名+學校/公司+專業/崗位進群
