擁有顏色的夜晚：研究人員用深度學習實現(xiàn)全彩夜視系統(tǒng)

科學家團隊靈光一現(xiàn)，使用 GPU 加速深度學習展示如何實現(xiàn)全彩夜視系統(tǒng)。

在發(fā)布于《PLOS One》期刊的論文中，由 Pierre Baldi 教授和 Andrew Browne 博士領導的加州大學歐文分校研究小組描述了他們如何利用紅外相機重建人臉照片的彩色圖像。

研究使用人類無法察覺的近紅外照明采集光線，推動了紅外相機圖像預測和重建技術的發(fā)展。

該研究的作者解釋說，人類能夠看到的“可見光譜”是波長在 400 至 700 納米之間的光。

普通的夜視系統(tǒng)依靠相機來采集光譜外人們看不見的紅外光。

研究人員表示，相機所采集的圖像會被轉換到顯示器上，顯示器單色顯示紅外相機所拍攝的內容。

加州大學歐文分校的團隊開發(fā)了成像算法，該算法依靠深度學習來預測人類在紅外相機捕獲的光線中將看到什么。

加州大學歐文分校的研究人員希望使用深度學習來預測紅外光照明下的可見光譜圖像

換言之，他們能夠使用相機在人類完全看不見的環(huán)境中進行拍攝，并數(shù)字化渲染拍攝的圖像。

為此，研究人員使用了對可見光和近紅外光敏感的單色相機來獲取面部打印圖像的圖像數(shù)據(jù)集。

這些圖像是在覆蓋標準可見紅光、綠光、藍光以及紅外波長的多光譜照明下采集的。

研究人員優(yōu)化了具有類 U-Net 架構的卷積神經網(wǎng)絡，根據(jù)近紅外圖像來預測可見光譜圖像。該神經網(wǎng)絡是弗萊堡大學大學計算機科學系最初為生物醫(yī)學圖像分割所開發(fā)的專用卷積神經網(wǎng)絡。

左邊是由紅、綠、藍三色輸入圖像組成的可見光譜基準真相圖像。右邊是UNet-GAN、UNet和線性回歸根據(jù)三幅紅外輸入圖像預測重建的圖像。

該系統(tǒng)使用 NVIDIA GPU 和 140 張人臉圖像進行訓練，其中 40 張用于驗證，20 張用于測試。

最終，該團隊成功重現(xiàn)了紅外相機在黑暗房間中拍攝的彩色人像。換言之，他們創(chuàng)造了能夠在全彩夜視系統(tǒng)。

可以肯定的是，這些系統(tǒng)目前還無法實現(xiàn)通用。它們需要經過訓練后才能預測不同種類物體的顏色，比如花或人臉。

盡管如此，該研究未來可能會完全實現(xiàn)全彩夜視系統(tǒng)，就像我們在白天所能看到的一樣。有朝一日，或許它使科學家也能夠研究對可見光敏感的生物樣本。