利用事件相機實現低延遲汽車視覺

在《自然》雜志最近一篇題為《Low-latency automotive vision with event cameras》的文章中，Daniel Gehrig 和 Davide Scaramuzza 寫道：

? ? ? ? ?

?

目前高級駕駛輔助系統中使用的計算機視覺算法依賴基于圖像的 RGB 攝像頭，因此在提供安全駕駛體驗方面，需要在帶寬和延遲之間進行重要權衡。為了解決這個問題，事件相機作為視覺傳感器的替代品應運而生。事件相機以異步方式測量強度變化，具有較高的時間分辨率和稀疏性，可顯著降低帶寬和延遲要求。盡管有這些優勢，但基于事件相機的算法要么效率很高但在準確性方面落后于基于圖像的算法，要么犧牲事件的稀疏性和效率來實現可比結果。為了解決這個問題，我們提出了一種基于事件和幀的混合物體檢測器，它保留了每種模態的優點，不會受到這種權衡的影響。我們的方法利用事件的高時間分辨率和稀疏性以及標準圖像中豐富但時間分辨率低的信息來生成高效、高速率的物體檢測，從而減少感知和計算延遲。我們的研究表明，使用 20 幀/秒 (fps)的 RGB 相機和事件相機，可以在不影響精度的情況下實現與 5,000 fps 相機相同的延遲、與45 fps相機相同的帶寬。我們的方法通過發掘事件相機的潛力，為在邊緣情況下實現高效、穩健的感知鋪平了道路。

? ? ? ? ?

?

基于幀的傳感器（例如 RGB 相機）面臨著帶寬-延遲權衡：更高的幀速率可減少感知延遲，但會增加帶寬需求，而較低的幀速率可節省帶寬，但代價是因感知延遲增加而丟失重要的場景動態（圖 1a）。感知延遲測量的是視覺刺激開始到傳感器讀數之間的時間。

? ? ? ? ?

?

圖 1. 帶寬-延遲權衡：a、與基于幀的傳感器不同，事件攝像機不受帶寬-延遲權衡的影響：高速攝像機（左上）捕獲低延遲但高帶寬的數據，而低速攝像機（右下）捕獲低帶寬但高延遲的數據。相反， 20 fps相機加事件相機的混合設置（左下，黃色矩形中的紅點和藍點表示事件相機的測量值）可以捕獲低延遲和低帶寬數據。這相當于5,000 fps相機的延遲和45 fps相機的帶寬。b、應用場景：利用此設置進行低延遲、低帶寬的交通參與者檢測（下行，綠色矩形為檢測結果），與標準攝像機（上行和中行）相比，提高了下游系統的安全性。c、檢測結果3D可視化：為此，我們的方法使用圖像盲區時間內的事件（紅點和藍點）來檢測物體（綠色矩形），然后它們才會在下一張圖像中可見（紅色矩形）。

? ? ? ? ?

?

這種權衡在汽車安全領域尤為明顯，因為汽車安全中反應時間很重要。高級駕駛輔助系統以每秒 30-45 幀 （fps） 的速度記錄，導致盲區時間為 22-33 毫秒。這些盲區在高速場景中至關重要，例如檢測快速移動的行人、車輛或丟失的貨物。此外，當存在高不確定性時，例如交通參與者被部分遮擋或因惡劣天氣條件而光線不足時，這些幀速率會人為地將決策時間延長 0.1-0.5 秒。在此期間，突然出現的行人（圖1）。1b） 以 12 公里/小時的速度行駛時，將移動 0.3-1.7 米，而以 50 公里/小時的速度行駛的汽車將行駛 1.4-6.9 米。

? ? ? ? ?

?

減少盲區時間對安全至關重要。為了解決這個問題，業界正在轉向幀率更高的傳感器，從而大幅增加數據量。目前的無人駕駛汽車每小時可收集多達11 TB的數據，預計這一數字將增至 40 TB。雖然云計算提供了一些解決方案，但這會帶來較高的網絡延遲。 ? ?

? ? ? ? ?

?

事件相機是一種很有前途的替代方案，它捕捉每個像素的強度變化，而不是固定的間隔幀。它們具有低運動模糊、高動態范圍、時空稀疏性和微秒級分辨率，同時帶寬和功耗更低。它們適應場景動態，具有低延遲和低帶寬的優勢。然而，由于傳感器無法捕捉到緩慢變化的信號，以及將事件轉換為類似幀的表征以便使用卷積神經網絡（CNN）進行分析的處理方法效率低下，基于事件的方法的準確性目前受到限制。這會導致冗余計算、更高的功耗和更高的計算延遲。計算延遲是指從讀出測量值到產生輸出的時間。

? ? ? ? ?

?

我們提出了一種基于事件和幀的新型混合檢測器，結合了用于圖像的標準 CNN 和用于事件的高效異步圖神經網絡 (GNN)（圖 2）。GNN 以遞歸方式處理事件，最大限度地減少了冗余計算，并利用關鍵的架構創新，如專門的卷積層、有針對性地跳過事件和專門的有向事件圖結構，以提高計算效率。

? ? ? ? ?

?

圖2. 所提方法概述：我們的方法處理密集圖像和異步事件（藍點和紅點，頂部時間線），以生成高速對象檢測（綠色矩形，底部時間線）。它共享在低速率圖像（藍色箭頭）上運行的密集 CNN 的功能，以提高在事件上運行的異步 GNN 的性能。GNN 可以有效地處理每個新事件，重復使用 CNN 功能，并稀疏更新先前步驟中的 GNN 激活。 ? ?

? ? ? ? ?

?

我們的方法利用了基于事件和幀的傳感器的優勢，利用圖像中的豐富上下文信息和來自事件的稀疏且高頻率的事件信息，實現高效、高速率的物體檢測，減少了感知延遲。在汽車環境中，它覆蓋了基于圖像的傳感器的盲區時間間隔，同時保持較低帶寬。在此過程中，它提供了額外的可認證的現實快照，顯示在下一個圖像中變得可見之前的對象（圖1c）或捕獲編碼交通參與者意圖或軌跡的物體運動。

? ? ? ? ?

?

研究結果表明，將 20 fps RGB 相機與事件相機配對可以實現5,000 fps 相機的延遲和 45 fps 相機的帶寬，顯著提高平均精度 （mAP）。這種方法利用事件攝像機尚未開發的潛力，在邊緣情況下進行高效、準確和快速的物體檢測。

?

END.