用過亞馬遜的DeepLens嗎？這是一款專門面向開發(fā)人員的全球首個支持深度學(xué)習(xí)的攝像機(jī)，它所使用的機(jī)器學(xué)習(xí)算法不僅可以檢測物體活動和面部表情，而且還可以檢測類似彈吉他等復(fù)雜的活動。有了DeepLens，智能攝像機(jī)的概念也就應(yīng)運(yùn)而生了。
今天，我們將自己動手打造出一款基于深度學(xué)習(xí)的照相機(jī)，當(dāng)小鳥出現(xiàn)在攝像頭畫面中時，它將能檢測到小鳥并自動進(jìn)行拍照。最終成品所拍攝的畫面如下所示：
相機(jī)不傻，它可以很機(jī)智
我們不打算將一個深度學(xué)習(xí)模塊整合到相機(jī)中，相反，我們準(zhǔn)備將樹莓派“掛鉤”到攝像頭上，然后通過WiFi來發(fā)送照片。本著“一切從簡”（窮）為核心出發(fā)，我們今天只打算搞一個跟DeepLens類似的概念原型，感興趣的同學(xué)可以自己動手嘗試一下。
接下來，我們將使用Python編寫一個Web服務(wù)器，樹莓派將使用這個Web服務(wù)器來向計算機(jī)發(fā)送照片，或進(jìn)行行為推斷和圖像檢測。
我們這里所使用的計算機(jī)其處理能力會更強(qiáng)，它會使用一種名叫YOLO的神經(jīng)網(wǎng)絡(luò)架構(gòu)來檢測輸入的圖像畫面，并判斷小鳥是否出現(xiàn)在了攝像頭畫面內(nèi)。
我們得先從YOLO架構(gòu)開始，因為它是目前速度最快的檢測模型之一。該模型專門給Tensorflow（谷歌基于DistBelief進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)）留了一個接口，所以我們可以輕松地在不同的平臺上安裝和運(yùn)行這個模型。友情提示，如果你使用的是我們本文所使用的迷你模型，你還可以用CPU來進(jìn)行檢測，而不只是依賴于價格昂貴的GPU。
接下來回到我們的概念原型上… 如果像框內(nèi)檢測到了小鳥，那我們就保存圖片并進(jìn)行下一步分析。
檢測與拍照
正如我們所說的，DeepLens的拍照功能是整合在計算機(jī)里的，所以它可以直接使用板載計算能力來進(jìn)行基準(zhǔn)檢測，并確定圖像是否符合我們的標(biāo)準(zhǔn)。
但是像樹莓派這樣的東西，我們其實并不需要使用它的計算能力來進(jìn)行實時計算。因此，我們準(zhǔn)備使用另一臺計算機(jī)來推斷出現(xiàn)在圖像中的內(nèi)容。
我使用的是一臺簡單的Linux計算機(jī)，它帶有一個攝像頭以及WiFi無線網(wǎng)卡（樹莓派3+攝像頭），而這個簡單的設(shè)備將作為我的深度學(xué)習(xí)機(jī)器并進(jìn)行圖像推斷。對我來說，這是目前最理想的解決方案了，這不僅大大縮減了我的成本，而且還可以讓我在臺式機(jī)上完成所有的計算。
當(dāng)然了，如果你不想使用樹莓派視頻照相機(jī)的話，你也可以選擇在樹莓派上安裝OpenCV 3來作為方案B，具體的安裝方法請參考【這份文檔】。友情提示，安裝過程可謂是非常的麻煩！
接下來，我們需要使用Flask來搭建Web服務(wù)器，這樣我們就可以從攝像頭那里獲取圖像了。這里我使用了MiguelGrinberg所開發(fā)的網(wǎng)絡(luò)攝像頭服務(wù)器代碼（Flask視頻流框架），并創(chuàng)建了一個簡單的jpg終端：
#!/usr/bin/envpythonfrom import lib import import_moduleimport osfrom flask import Flask, render_template, Response
#uncomment
below to use Raspberry Pi camera instead#from camera_pi import
Camera #comment this out if you're not using USB webcamfrom
camera_opencv import Camera
app =Flask(__name__)
@app.route('/')def
index(): return "hello world!" def gen2(camera): """Returns a
single imageframe""" frame = camera.get_frame()
yield frame
@app.route('/image.jpg')def
image(): """Returns a single currentimage for the webcam"""
return Response(gen2(Camera()),mimetype='image/jpeg')
if __name__ == '__main__':
app.run(host='0.0.0.0', threaded=True)
如果你使用的是樹莓派視頻照相機(jī)，請確保沒有注釋掉上述代碼中from camera_pi那一行，然后注釋掉from camera_opencv那一行。
你可以直接使用命令python3 app.py或gunicorn來運(yùn)行服務(wù)器，這跟Miguel在文檔中寫的方法是一樣的。如果我們使用了多臺計算機(jī)來進(jìn)行圖像推斷的話，我們還可以利用Miguel所開發(fā)的攝像頭管理方案來管理攝像頭以及計算線程。
當(dāng)我們啟動了樹莓派之后，首先需要根據(jù)IP地址來判斷服務(wù)器是否正常工作，然后嘗試通過Web瀏覽器來訪問服務(wù)器。
URL地址格式類似如下：
http://192.168.1.4:5000/image.jpg
在樹莓派中加載Web頁面及圖像來確定服務(wù)器是否正常工作：
圖像導(dǎo)入及推斷
既然我們已經(jīng)設(shè)置好了終端來加載攝像頭當(dāng)前的圖像內(nèi)容，我們就可以構(gòu)建一個腳本來捕捉圖像并推斷圖像中的內(nèi)容了。
這里我們需要用到request庫（一個優(yōu)秀的Python庫，用于從URL地址獲取文件資源）以及Darkflow（YOLO模型基于Tensorflow的實現(xiàn)）。
不幸的是，我們沒辦法使用pip之類的方法來安裝Darkflow，所以我們需要克隆整個代碼庫，然后自己動手完成項目的構(gòu)建和安裝。安裝好Darkflow項目之后，我們還需要下載一個YOLO模型。
因為我使用的是速度比較慢的計算機(jī)和板載CPU（而不是速度較快的GPU），所以我選擇使用YOLO v2迷你網(wǎng)絡(luò)。當(dāng)然了，它的功能肯定沒有完整的YOLO v2模型的推斷準(zhǔn)確性高啦！
配置完成之后，我們還需要在計算機(jī)中安裝Pillow、numpy和OpenCV。最后，我們就可以徹底完成我們的代碼，并進(jìn)行圖像檢測了。
最終的代碼如下所示：
from darkflow.net.build import TFNetimport cv2
from io import BytesIOimport timeimport requestsfrom PIL import Imageimport numpy as np
options= {"model": "cfg/tiny-yolo-voc.cfg", "load":"bin/tiny-yolo-voc.weights", "threshold": 0.1}
tfnet= TFNet(options)
birdsSeen= 0def handleBird(): pass
whileTrue:
r =requests.get('http://192.168.1.11:5000/image.jpg') # a bird yo curr_img = Image.open(BytesIO(r.content))
curr_img_cv2 =cv2.cvtColor(np.array(curr_img), cv2.COLOR_RGB2BGR)
result = tfnet.return_predict(curr_img_cv2)
print(result)
for detection in result:
if detection['label'] == 'bird':
print("bird detected")
birdsSeen += 1 curr_img.save('birds/%i.jpg' %birdsSeen)
print('running again')
time.sleep(4)
此時，我們不僅可以在命令控制臺中查看到樹莓派所檢測到的內(nèi)容，而且我們還可以直接在硬盤中查看保存下來的小鳥照片。接下來，我們就可以使用YOLO來標(biāo)記圖片中的小鳥了。
假陽性跟假陰性之間的平衡
我們在代碼的options字典中設(shè)置了一個threshold鍵，這個閾值代表的是我們用于檢測圖像的某種成功率。在測試過程中，我們將其設(shè)為了0.1，但是如此低的閾值會給我們帶來是更高的假陽性以及誤報率。更糟的是，我們所使用的迷你YOLO模型準(zhǔn)確率跟完整的YOLO模型相比，差得太多了，但這也是需要考慮的一個平衡因素。
降低閾值意味著我們可以得到更多的模型輸出（照片），在我的測試環(huán)境中，我閾值設(shè)置的比較低，因為我想得到更多的小鳥照片，不過大家可以根據(jù)自己的需要來調(diào)整閾值參數(shù)。
* Alpha_h4ck 編譯，轉(zhuǎn)自 FreeBuf.COM
