本設計針對低照度高動態情況下，單幀圖像曝光不足導致的圖像噪聲大、色彩失準等問題，在傳統的 HDR 多幀融合（Frames Merging）方法上，采用層次化的圖像配準（Image Alignment）方案、自適應白平衡（White Balance）與色調映射（Tone Mapping）策略，在降低圖像噪聲、真實還原景物色彩的基礎上，極大 抑制了多幀融合時常見的運動偽影（Motion Artifact）現象。本設計采用 FPGA 進 行圖像處理加速后，可以實現視頻流的實時處理，視頻流經過攝像頭輸入后，由 FPGA 進行處理并以較低的時延經 HDMI 信號輸出。
本設計可用于手持攝像系統（攝像機、智能手機）圖像、視頻流的 HDR 處 理，可用于低照度情況下固定監控系統的視頻流 HDR 處理，可用于線上直播系統的視頻流 HDR 處理。
采用層次化的圖像配準方案，對輸入的拜爾格式（Bayer Mosaic）原始圖像 進行處理，生成四層高斯圖像金字塔（Gaussian Pyramids）。較高層次的圖像配準結果將作為低層次配準的預偏移。這一過程極大優化了算法效率，其結構化的特 點為并行處理提供了便利。
采用有權重的圖像融合方案，對輸入的多幀圖像，經圖像配準后計算相應圖像對（Image Pairs）的 L1 殘差，得到各融合幀（Alternate Frame）相對參考幀 （Reference Frame）的權重，有效地降低了配準失誤造成的運動偽影。
采用自適應白平衡及色調映射策略，在低光照情況下最大程度還原了景物的 色彩；在保證較高信噪比的情況下，提高了主要景物的亮度。
利用 FPGA 進行硬件加速，在 Pynq-z2 的 Python 開發環境中掛載封裝有 IP 加速核的 Overlay，極大提高了運行速度，能夠實時處理。
相機感光度（ISO）、快門時間（Shutter Time）、融合幀數；
圖像融合處理時間、視頻流處理延時；
圖像信噪比、色彩還原度、細節清晰度、紋理清晰度（人眼觀察）。
（1） 低照度高動態圖像處理；
（2） 層次化的圖像配準；
（3） 有權重的圖像融合降噪；
（4） 自適應白平衡與色調映射策略；
（5） FPGA 硬件加速；
（6） 低時延視頻流處理。
PYNQ-Z2 是基于 Xilinx ZYNQ-7000 FPGA 的平臺，除繼承了傳統 ZYNQ 平 臺的強大處理性能外，還兼容 Arduino 接口與標準樹莓派接口，這使得 PYNQZ2 的具有極大的可拓展性與開源性。PYNQ 是一個新的開源框架，使嵌入式編 程人員能夠在無需設計可編程邏輯電路的情況下即可充分發揮 Xilinx Zynq All Programmable SoC（APSoC）的功能。與常規方式不同的是，通過 PYNQ-Z2，用戶可以使用 Python 進行 APSoC 編程，并且代碼可直接在 PYNQ-Z2 上進行開發 和測試。通過 PYNQ-Z2，可編程邏輯電路將作為硬件庫導入并通過其 API 進行編程，其方式與導入和編程軟件庫基本相同。
Xilinx Zyng All Programmable device 是一種基于雙核 ARM cortex - a9 處理 器（稱為處理系統或 PS）的 SOC，集成了 FPGA fabric(稱為可編程邏輯或 PL)。PS 子系統包括許多專用外設(內存控制器、USB、Uart、IIC、SPI 等)，并可以擴展額外的硬件 IP，其封裝在 PL 的 Overlay 中。Overlay（或 Hardware Libraries， 硬件庫）是可編程/可配置的 FPGA 設計，能將用戶設計的應用從 Zynq 的處理系 統（PS 端）擴展到可編程邏輯（PL 端）。Overlay 可用于加速軟件程序，或為特定程序定制硬件平臺。
本設計的硬件平臺整體結構如上圖所示。為了對低照度高動態下的多幀融合 圖像處理系統進行硬件加速，我們利用 Vivado HLs 工具，自主設計了 DownSample、Alignment、Merge、raw2rgb 等 IP Cores，并通過 AXI 總線與處理器核（PS 端）及存儲器接口相連。在 PYNQ-Z2 的設計流中，這些 IP 被封裝成 Overlay 并構造 Python API 驅動，以供 PYNQ-Z2 中的 Python 開發環境（JupyterNotebook）調用。
我們調用了 PYNQ-Z2 自有的 HDMI Overlay 進行處理流程及結果的顯示。此外，PYNQ-Z2 為我們提供了豐富的存儲單元、外設模塊與通信接口。這些存儲單元被用來存儲圖像數據及各類處理中間結果，而各類外設模塊及通信接口則 被用來進行系統調試與控制的過程監控。
圖像處理系統的工作流程如上圖所示。相機在低曝光的情況下拍攝多幀（比 如說，6 幀）圖片，這些原始圖片（RAW images）由相機 CCD 或 CMOS 圖像傳感器生成，其像素值以拜耳陣列的形式存儲。我們首先將原始各輸入幀進行一次系數 2 的均值下采樣，兩次系數 4 的高斯下采樣，得到一個四層的高斯圖像金字塔?；谶@個高斯圖像金字塔，我們進行層次化的圖像配準。配準的結果將作為圖像融合的參考，同時結合備選幀與參考幀的 L1 殘差作為融合權重，進行圖像 融合。融合后的圖像進行去馬賽克及伽馬降噪，并進行自適應的白平衡及色調映 射等操作，將單通道的融合圖像轉為三通道（對應 RGB 色彩空間）輸出圖像， 最終輸出與原始圖像同分辨率的處理結果。
均值下采樣與高斯下采樣處理被封裝在名為 DownSample 的 IP core 中，層次化圖像配準處理被封裝在名為 Alignment 的 IP core 中，圖像融合處理被封裝在名為 Merge 的 IP core 中，去馬賽克、白平衡、色調映射等處理被封裝在名為 raw2rgb 的 IP core 中。這些 IP cores 掛載到 AXI 總線上，經封裝為 Overlay 提供 Python API 給 PYNQ-Z2 的 Jupyter-Notebook。
下采樣模塊（DownSample）
下采樣模塊為后續的層次化圖像配準處理提供四層高斯圖像金字塔。四層高斯金字塔的最底層為全分辨率的拜耳原始圖像（我們稱該層為 layer_raw），其像素點以拜耳陣列的形式排布，如下圖所示。
我們首先進行系數 2 的均值下采樣，直觀上將一個 2*2 像素的“方格”取均值下采樣為一個像素。下采樣后的結果類似于一個單通道的灰度圖像，但實際上綠色通道對下采樣后的結果影響較大。我們稱該層為 layer_0。
layer_0 隨后進行兩次系數 4 的高斯下采樣。卷積核函數見附錄。該卷積核 函數的大小為 5*5 像素，以 4 像素為步長在被采樣的圖像上以后，對該圖像進行下采樣。高斯下采樣的結果將在一定程度上保留了采樣前圖像的低頻信息，而圖 像細節則被丟失。直觀上圖像的大致輪廓被保留，圖像尺寸更小，細節模糊不清。兩次高斯下采樣的結果分為稱之為 layer_1 與 layer_2。
經下采樣模塊處理后的結果可以用下圖說明。
圖像配準模塊（Alignment）
圖像配準以圖像對（Image Pairs）的形式，在融合備選幀（Alternate Frame） 與參考幀（Reference Frame）之間展開。對參考幀中的每一個 16*16 像素的圖塊 （Tile），尋找其在融合備選幀中使兩者 L1 殘差最小圖塊，兩個圖塊位置上的偏 移即為配準結果。其 L1 殘差的計算方式可用下式表達。
式中的求和對一個圖塊內的所有像素進行，配準的目的是對參考幀中的每一個圖 塊，尋找其在每一個備選幀中的對應圖塊，使得上式的結果最小。此時兩個圖塊 的坐標偏移量即為配準結果。
在保證圖像間偏差不大的前提下，圖塊配準的搜索范圍可以限定圖塊原始位 置周圍的若干像素內。為了進一步提高配準的效率，我們采用層次化的配準方案：在上層低分辨率圖像中進行預配準，配準結果將作為下層圖像配準的預偏移 （Previous Offset）。各層圖像以圖塊為基本單位，在預偏移的基礎上進行小范圍的配準。由此，上述殘差計算式可以重新表達如下。
式中的????, ????即為上一層圖像配準結果在本層配準的表達。
最終，層次化的圖像配準處理將生成各層次上的配準結果。而我們所關心的 是全分辨率原始圖像的配準結果，其將作為圖像融合的依據進入到后續處理當中。
圖像融合（Merge）
圖像融合是多幀處理的關鍵步驟之一。在經過圖像配準后，我們已經知道了參考幀中每一個圖塊在融合備選幀中的位置。這樣一來，根據配準結果，從每一 個備選幀中提取相應的圖塊疊加在參考幀上，即可完成圖像融合。然而，圖像配準過程中有可能出現配準失誤；另一方面，備選幀同樣可能因為抖動而產生偽影。這就需要依照參考幀圖塊與備選幀圖塊的偏差建立誤差權重，誤差小的圖塊融合時的權重大，而誤差較大的圖塊在融合時的權重較小。
我們仍然使用類似于圖像配準時的殘差公式來計算誤差，具體如下。
式中，????,????為參考幀中圖塊的索引，??1, ??1為配準后備選幀中圖塊內的像素 索引。通過計算相應圖塊內所有像素值的 L1 殘差，我們就能衡量經過配準后的 圖塊對的誤差，進而確定其在融合時的權重。
拜耳圖像到 RGB 圖像（raw2rgb）
上述處理的結果仍然是單通道的拜爾圖像。我們需要將其轉化為三通道的 RGB 圖像，從而進行顯示。余下的處理步驟通常包括校正（Correction）、去馬賽 克（Demosaic）、色調映射（Tone Mapping）、白平衡（White Balance）等處理。這些處理通常也由 ISP 完成。我們將這些處理封裝在 raw2rgb 這一 IP core 中，進 而將處理的結果通過 HDMI 顯示。
我們完成了圖 2 所述的各處理模塊 IP cores 的封裝與 Overlay 的掛載，通過在PYNQ-Z2本地讀取一組6幀RAW格式拜耳圖像（這些圖像固定采用ISO=800， 快門時間為 1/16s 的拍攝參數），分塊循環調用掛載的各處理模塊 IP cores，進而 得到處理后的結果，通過 HDMI 進行顯示。關鍵地，整個處理流程平均用時為83ms，并且具有進一步優化的空間。通過將更多的處理流程硬件化，減少在 AXI 總線上來回數據傳輸的次數，我們將進一步減少系統處理的平均用時。
下圖是系統調試的實拍圖。
通過對比，我們能夠較為明顯地看到處理效果。通常在低照度下拍攝的圖像會呈現如下的效果。
如果為了圖像效果，直接提高圖像亮度，并提高對比度，則會產生較多噪聲， 同時產生色彩偏移。圖像會呈現如下的效果。
而經過 FPGA 中的圖像處理系統處理后，圖像的噪點被極大消去，色彩得到了校正，更加接近景物的原始色澤。圖像呈現出如下的效果。
對上圖的局部進行放大后，可以明顯看到經過處理后的圖像，在效果上有了明顯的提升。下圖是三處細節放大后的對比結果。
（1）通過將更多的處理流程硬件化，減少在 AXI 總線上來回數據傳輸的次數，我們將進一步減少系統處理的平均用時，最后實現視頻流的實時處理。之后，我們將為該系統加裝攝像頭模塊，使得實時視頻流經過系統處理后，以低時延輸出。
（2）通過優化色調映射模塊，我們計劃在全局色調映射前加入局部色調映射，進一步提升在低照度下圖像色彩的質量。
（3）通過調用 PYNQ-Z2 提供的 OpenCV 圖像處理庫，我們計劃在圖像處理流中增加人臉識別模塊，對人臉識別激活的圖塊進行細致的配準及融合處理， 使得我們的圖像處理系統在面對人臉時具有更好的效果。
- -THE END- -
往期精選?
?
?
FPGA技術江湖廣發江湖帖
無廣告純凈模式，給技術交流一片凈土，從初學小白到行業精英業界大佬等，從軍工領域到民用企業等，從通信、圖像處理到人工智能等各個方向應有盡有，QQ微信雙選，FPGA技術江湖打造最純凈最專業的技術交流學習平臺。
FPGA技術江湖微信交流群
加群主微信，備注姓名+學校/公司+專業/崗位進群
FPGA技術江湖QQ交流群
備注姓名+學校/公司+專業/崗位進群
