新冠病毒的肆虐讓整個 2020 年籠罩在恐慌之中，戴口罩成了人們外出必備 的“新日常”。新冠病毒主要通過飛沫傳播和接觸傳播，正確選擇佩戴口罩，可有效阻隔病毒傳播。但在人流量龐大的商圈、車站等場所，仍有許多人拒絕佩戴口罩。若能在這些場所進(jìn)行當(dāng)前人群口罩檢測，則能有效避免冠狀病毒的傳播。
本作品是一種能實時檢測識別人臉口罩佩戴情況并進(jìn)行語音播報的系統(tǒng)，準(zhǔn)確度高達(dá) 95.2%，系統(tǒng)處理速度可達(dá) 25fps 左右。除此之外，本作品具備較高的可拓展性，稍加更改就可在更多的領(lǐng)域得到應(yīng)用。
基于深度學(xué)習(xí)的人臉捕獲及口罩檢測系統(tǒng)可以適用于人流量大的場所，實現(xiàn) 了人臉檢測與跟蹤以及人臉口罩識別的功能，并將識別結(jié)果進(jìn)行播報，可以輔助疫情防控工作的開展。
除此之外，本系統(tǒng)的人臉檢測系統(tǒng)有著廣泛的應(yīng)用范圍。
在智能家居領(lǐng)域，可以通過我們的系統(tǒng)實現(xiàn)人類闖入報警裝置，在攝像頭捕捉到的區(qū)域檢測到人臉后觸發(fā)報警；
在新冠疫情期間，我們的系統(tǒng)可以安裝在商圈、旅游景點，實時檢測人流密度，為實時限流措施提供參考。
對密集人群進(jìn)行口罩檢測，首先要在畫面中進(jìn)行人臉檢測。在非深度學(xué)習(xí)階段的目標(biāo)檢測算法都是針對特定目標(biāo)提出的，比如 CVPR 2001 的 Viola-Jones (VJ)[1]是針對人臉檢測問題，CVPR 2005 的 HOG+SVM[2]是針 對行人檢測問題，TPAMI 2010 的 DPM[3]雖然可以檢測各類目標(biāo)，但要用于多目標(biāo)檢測，需要每個類別分別訓(xùn)練模板。而強大的深度學(xué)習(xí)只要一個 CNN 就可以 搞定多類別檢測任務(wù)。雖然這些都是多類別方法，但它們也都可以用來解決單類別問題。
本作品是基于深度學(xué)習(xí)的人臉捕獲及口罩檢測系統(tǒng)，通過片外的圖像傳感器采集圖像到片上緩沖區(qū)，而后把圖像送到 FPGA 上的神經(jīng)網(wǎng)絡(luò)加速器進(jìn)行處理， 識別結(jié)果輸出到顯示器，在顯示器中框出人臉并顯示目標(biāo)是否佩戴口罩，我們還使用語音模塊對畫面中的總?cè)藬?shù)和未戴口罩人數(shù)作出播報。
本作品可以實時檢測識別人臉口罩佩戴情況，我們從幀率和精度兩個方面進(jìn)行了分析。識別精度可達(dá)到 95.2%，而系統(tǒng)延遲僅僅 40ms 左右，可達(dá)到 25fps 的幀率。
神經(jīng)網(wǎng)絡(luò)部分創(chuàng)新點
1、使用了一個輕量級 backbone，去除了 BN 層，在精度達(dá)到優(yōu)秀的前提下極大提升了速度；
2、去掉了 FPN 結(jié)構(gòu)，僅降低微小的精度卻大大提升了速度(20%)；
3、在網(wǎng)絡(luò)的 head 部分對邊框回歸和類別預(yù)測做了不對稱設(shè)計，進(jìn)一步提升性能。
系統(tǒng)框架創(chuàng)新點
1、為了加快系統(tǒng)設(shè)計，采用了 Xilinx 專用于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)處理單元（DPU）。在設(shè)計系統(tǒng)過程中，可根據(jù)系統(tǒng)的具體情況配置 DPU 的參數(shù)，將該 IP 集成到所選器件 PL 中，通過 PS 端軟件控制，實現(xiàn)多種卷積神經(jīng)網(wǎng)絡(luò)的加速。
2、利用 PYNQ 框架，可以在開發(fā)板上動態(tài)地加載比特流實現(xiàn)系統(tǒng)所需硬件電路，靈活方便。
3、利用 Vitis AI 編譯模型，將浮點模型轉(zhuǎn)換為定點模型，降低了計算復(fù)雜度，并且需要的內(nèi)存帶寬更少，提高了模型速度。
基于深度學(xué)習(xí)的人臉檢測系統(tǒng)由 PS 端、PL 端與外設(shè)及其接口組成。其中， 外設(shè)包括、攝像頭（通過 USB3.0 連接）、語音模塊（通過 UART 連接）和 VGA 顯示（通過 Mini DP 轉(zhuǎn) VGA 連接），開發(fā)板內(nèi)部還提供了 2GB 的 LPDDR4；PS 端包括 openCV 采集處理模塊、后處理模塊、語音控制模塊及顯示控制模塊；PL 端包括特征提取模塊和邊框回歸及分類模塊。在 PS 端的模塊中，openCV 采集處理模塊的主要功能是控制攝像頭采集圖像，并對 LPDDR4 中的圖像進(jìn)行預(yù)處理；后處理模塊的主要功能是使用非極大值抑制（Non-Maximum Suppression， NMS）算法對候選區(qū)域進(jìn)行篩選，得到合適的區(qū)域信息并統(tǒng)計畫面中檢測到的人臉總數(shù)；語音控制和顯示控制驅(qū)動語音模塊和攝像頭構(gòu)成結(jié)果展示部分，語音控制模塊根據(jù)后處理模塊的結(jié)果播報當(dāng)前畫面中的人臉數(shù)目，而顯示控制模塊根據(jù) VGA 時序顯示拍攝畫面并框出人臉位置。PL 端中的特征提取模塊對預(yù)處理后的圖像進(jìn)行計算，得到大小不同的區(qū)域，邊框回歸及分類模塊處理這些區(qū)域，給出邊框信息與分類結(jié)果。
本系統(tǒng)的開發(fā)平臺為 Ultra96-V2 開發(fā)板，是基于 FPGA 的 Xilinx Zynq UltraScale +MPSoC 開發(fā)板，并基于 Linaro 96Boards Consumer Edition（CE）規(guī)范構(gòu)建。
Ultra96-V2 開發(fā)板系統(tǒng)框圖如下圖所示：
OpenCV 采集處理
本系統(tǒng)采用的是超微 1601U 攝像頭上圖所示，輸出圖像大小為 1280×720， 最高幀率可達(dá) 30fps。該攝像頭通過 USB3.0 接口與開發(fā)板連接，輸出圖像的數(shù)據(jù)格式支持 MJPEG 和 YUV 格式。它還支持自動曝光控制 AEC 和自動白平衡 AEB，可以調(diào)節(jié)亮度、對比度、色飽和度、色調(diào)等基礎(chǔ)參數(shù)。
通過系統(tǒng) PS 端的 OpenCV 來完成攝像頭相關(guān)參數(shù)的配置以及圖像幀的獲取， 之后對獲取的圖像進(jìn)行resize等預(yù)處理再送到PL部分的深度學(xué)習(xí)處理單元（DPU）進(jìn)行處理。
后處理
對于一幀圖像，該模塊接收到來自神經(jīng)網(wǎng)絡(luò)檢測模塊的 3780 個候選框信息 （包括邊框坐標(biāo)、識別標(biāo)簽、置信度）。后處理模塊首先對這些候選框進(jìn)行篩選， 留下置信度大于 0.6 的候選框。這一步可以減少無效候選框的處理時間。接著， 我們使用非極大值抑制算法對通過篩選的候選框進(jìn)行處理，去除重復(fù)的候選框， 得到最優(yōu)結(jié)果。最后將結(jié)果輸出給結(jié)果展示部分。
非極大值抑制，顧名思義就是抑制不是極大值的元素，可以理解為局部最大 搜索。這個局部代表的是一個鄰域，鄰域有兩個參數(shù)可變，一是鄰域的維數(shù)，二是鄰域的大小。例如在行人檢測中，滑動窗口經(jīng)提取特征，經(jīng)分類器分類識別后， 每個窗口都會得到一個分?jǐn)?shù)。但是滑動窗口會導(dǎo)致很多窗口與其他窗口存在包含或者大部分交叉的情況。這時就需要用到 NMS 來選取那些鄰域里分?jǐn)?shù)最高（是行人的概率最大），并且抑制那些分?jǐn)?shù)低的窗口。
結(jié)果展示部分——語音控制
本系統(tǒng)中語音模塊的功能是在系統(tǒng)檢測完畢且后處理模塊統(tǒng)計畫面人數(shù)后， 將檢測結(jié)果通過語音的方式播報給外界。語音模塊 JQ8900-16P 選用了 SoC 方案， 集成了一個 16 位的 MCU，能夠靈活更換 SPI-flash 內(nèi)的語音內(nèi)容，有一線串口控制模式和 RX232 串口控制模式可選。
由于開發(fā)板上有多個 USB 接口，我們采用 USB 轉(zhuǎn)串口的方式來控制語音模塊。具體控制方式為把檢測到的人數(shù)轉(zhuǎn)化為語音模塊的控制指令，通過串口發(fā)送到該模塊，語音模塊對指令進(jìn)行解碼之后播報存放在該模塊內(nèi)的相應(yīng)音頻。
結(jié)果展示部分——顯示控制
經(jīng)過神經(jīng)網(wǎng)絡(luò)處理之后的圖像由開發(fā)板上的 Mini DP 接口外接 Mini DP 轉(zhuǎn) VGA 轉(zhuǎn)接頭，連接到 VGA 顯示器進(jìn)行顯示。
識別模塊
本系統(tǒng)中卷積神經(jīng)網(wǎng)絡(luò)模塊的功能是對攝像頭采集圖像中的人臉進(jìn)行檢測并判斷目標(biāo)人臉上是否佩戴口罩，是系統(tǒng)的核心模塊。本小節(jié)將從數(shù)據(jù)集的制作、 特征提取模塊、軟件模型設(shè)計和硬件模型設(shè)計等四個方面介紹該模塊。
（1）數(shù)據(jù)集的制作
數(shù)據(jù)集主要來自于 WIDER Face 和 MAFA 數(shù)據(jù)集，加入了上百張戴口罩的 圖片（來源于網(wǎng)絡(luò)）。具體地，我們從 WIDER Face 中篩選出 7000 張，從 MAFA 中篩選出 2000 張，自己根據(jù)已有的戴口罩的數(shù)據(jù)集生成了 2000 張左右，最終分為訓(xùn)練集 13000 張，測試集 300 張。值得一提的是，在我們自己生成的數(shù)據(jù)集圖片中，有許多是將有口罩的圖片與無口罩的圖片的組合，如圖 6 最右所示，因為在經(jīng)典數(shù)據(jù)集中很難找到這樣的情況。
2）神經(jīng)網(wǎng)絡(luò)模型的搭建和訓(xùn)練
本系統(tǒng)采用的目標(biāo)檢測算法為 anchor-base 的 one-stage 算法，整個網(wǎng)絡(luò)參考 了 RetinaNet[4]進(jìn)行設(shè)計，可分為 backbone、neck、head 三大部分。其中，backbone 參考 BlazeFace[5]的設(shè)計去掉了 BN 層，這樣能在不影響準(zhǔn)確率的前提下提高速度。在 RetinaNet 的 neck 部分中，F(xiàn)PN[6]有很好的特征提取功能，引入 FPN 能解決較為復(fù)雜的問題。但由于 FPN 需要額外的卷積計算，它也在一定程度上降低了速度。由于本次應(yīng)用只有兩個類別，有口罩和無口罩，識別困難度比較低，我們參考了 SSD[7]的結(jié)構(gòu)，去掉 FPN 部分，僅用一個卷積層調(diào)整通道。對于 head 部分， 由于只有兩個類別，我們減少了 class 分支的卷積層，不再與 boxes 分支對稱。減少卷積層并沒有引起精度下降，但進(jìn)一步提升了速度。
我們 anchor 設(shè)置如下：
總共有(24×40+12×20+6×10)×3=3780 個 anchor，最小尺寸為 20，最大尺 寸為 127。
整體網(wǎng)絡(luò)框架如下所示：
整體網(wǎng)絡(luò)可分為兩部分——特征提取模塊與邊框回歸及分類模塊。
對于特征提取模塊的處理如圖 6 所示。令輸入圖像為 P0，其尺寸為 192×320；P1 由 P0 經(jīng)過一個卷積層和兩個 blaze_block 得到，P1 經(jīng)過三個 blaze_block 得到 P2 ；P3 由 P2 經(jīng) 過 三 個 double_blaze_block 得來， P4 由 P3 經(jīng)過三個 double_blaze_block 得來，P5 由 P4 經(jīng)過三個 double_blaze_block 得來。P3、P4 和 P5 是本模塊的輸出，即識別模塊的輸入。其中 blaze_block 由 DepthwiseConv2D + Conv2D + MaxPool2D + Add 組成，double_blaze_block 由 DepthwiseConv2D + Conv2D + DepthwiseConv2D + Conv2D + MaxPool2D + Conv2D + Add 組成。各層 參數(shù)詳見本文附錄中軟件模型的源代碼。
邊框回歸及分類模塊對 P3、P4、P5 進(jìn)行分析。RetinaNet 類別分支和邊框分 支分別采用了四個卷積層，本設(shè)計采用了 RetinaNet 的 head 設(shè)計思想，但是進(jìn)行 了改進(jìn)：我們減少了卷積層的數(shù)量，邊框分支采用三個卷積層，類別分支采用兩個卷積層。因為只有兩個類別，所以我們的類別分支和邊框分支采用了不對稱設(shè)計，將類別分支的卷積層進(jìn)一步減少。減少類別分支的卷積層對準(zhǔn)確率幾乎沒有影響，但提升了速度。
（3）硬件部分
該部分利用支持 PYNQ 框架的開發(fā)板鏡像。首先通過在開發(fā)板上加載帶 Xilinx 的 DPU IP 的比特流文件，把 DPU 燒寫到開發(fā)板的 PL 端；再通過安裝在開發(fā)板鏡像上的 DPU 驅(qū)動，調(diào)用相應(yīng)的 API 把經(jīng)過 Vitis AI 編譯過的模型部署到 DPU 中；最后啟動 DPU 讀取預(yù)處理之后的圖像進(jìn)行檢測和分類，DPU 運算完之后取出運算結(jié)果，對運算結(jié)果進(jìn)行解析之后得到人臉框的坐標(biāo)以及是否佩戴口罩的分類結(jié)果。
本系統(tǒng)目前可以實現(xiàn)：
實時檢測并跟蹤人臉位置，人臉位置被框出；
人臉檢測框上方給出目標(biāo)是否戴口罩 mask/nomask 以及置信度；
定時對當(dāng)前人數(shù)與未佩戴口罩人數(shù)進(jìn)行語音播報。
3.2 人臉檢測性能指標(biāo)
本系統(tǒng)基于人臉捕捉及口罩識別的應(yīng)用對 RetinaNet 進(jìn)行優(yōu)化，并利用硬件加速，大大提升了處理速度。目前該系統(tǒng)可對 192×320 大小的三通道彩色視頻進(jìn)行實時處理，幀率可達(dá) 25fps，精度可達(dá) 95.2%。
目前系統(tǒng)圖像采集時間占總體時間的比例比較大，后期可探索更多軟硬件優(yōu)化的方法對圖像采集部分進(jìn)行優(yōu)化，提升系統(tǒng)幀率。除此之外，目前我們的應(yīng)用是進(jìn)行口罩（人臉）的檢測，未來可在此基礎(chǔ)上進(jìn)行拓展加入識別模型，識別模型可以精確識別出是哪一個人，這樣可將應(yīng)用范圍進(jìn)一步拓展，比如說門禁的人臉識別、簽到、智能監(jiān)控等等。
END
往期精選?
?
?
FPGA技術(shù)江湖廣發(fā)江湖帖
無廣告純凈模式，給技術(shù)交流一片凈土，從初學(xué)小白到行業(yè)精英業(yè)界大佬等，從軍工領(lǐng)域到民用企業(yè)等，從通信、圖像處理到人工智能等各個方向應(yīng)有盡有，QQ微信雙選，F(xiàn)PGA技術(shù)江湖打造最純凈最專業(yè)的技術(shù)交流學(xué)習(xí)平臺。
FPGA技術(shù)江湖微信交流群
加群主微信，備注職業(yè)+方向+名字進(jìn)群
FPGA技術(shù)江湖QQ交流群
備注地區(qū)+職業(yè)+方向+名字進(jìn)群
