基于Transformer的自動駕駛傳感器融合技術解析

傳感器融合是許多感知系統中的一個重要課題，例如自動駕駛和機器人。在許多數據集上的排行榜，基于transformer的檢測頭和基于CNN的特征編碼器（從原始傳感器數據中提取特征），已成為性能最高的3D檢測多傳感器融合框架之一。

本文提供了最近基于transformer的3D目標檢測任務的文獻綜述，主要集中于傳感器融合，介紹了視覺transformer（ViT）的基礎知識，還簡要論述了用于自動駕駛的傳感器融合的幾種非transformer式較少占主導地位的方法。最后總結了transformer在傳感器融合領域中的作用，并提出了該領域的未來研究方向。

更多內容可以參考：https://github.com/ApoorvRoboticist/Transformers-SensorFusion

傳感器融合是整合來自不同信息源的感知數據，利用不同傳感器捕獲的互補信息，融合有助于減少狀態估計的不確定性，并使3D目標檢測任務更加穩健。目標屬性在不同的模式中不具有同等的可識別性，因此需要利用不同的模式并從中提取補充信息。例如，激光雷達可以更好地定位潛在物體，radar可以更好地估計場景中物體的速度，最后但并非最不重要的是，相機可以通過密集的像素信息對物體進行分類。

為什么傳感器融合困難？

不同模態的傳感器數據除了在每個傳感器的坐標空間的差異之外，通常在數據分布上存在較大差異。例如，LiDAR在笛卡爾坐標空間中，Radar位于極坐標空間，圖像位于透視空間。不同坐標系引入的空間失準使得難以將這些模態合并在一起。多模態輸入的另一個問題是，當ML網絡可以使用camera和LiDAR送入時，會出現異步時間線的問題。

現有的傳感器融合模型的總體架構圖如上所示，基于transformer的Head（綠色），基于CNN的特征提取器（藍色），用于預測3D鳥瞰圖（BEV）邊界框（黃色塊），每個傳感器具有中間BEV特征（紫色塊），該傳感器融合設置為從多視圖相機、激光雷達和雷達接收輸入。

雖然CNNs可用于在單個模態內捕獲全局上下文，但將其擴展到多個模態并精確地建模成對特征之間的交互是非常重要的。為了克服這一限制，使用transformer的注意力機制將關于2D場景的全局上下文推理直接集成到模態的特征提取層中。序列建模和視聽融合的最新進展表明，基于Transformer的體系結構在序列或跨模態數據的信息交互建模方面非常有效。

領域背景

融合level：最近，多傳感器融合在3D檢測界引起了越來越多的興趣。現有方法可分為detection-level、proposal-level、point-level 融合方法，這取決于融合不同模態（即相機、雷達、激光雷達等）的早期或后期程度！

detection-level即后期融合已經成為最簡單的融合形式，因為每個模態都可以單獨處理自己的BEV檢測，然后可以使用匈牙利匹配算法和卡爾曼濾波進行后處理，以聚合和刪除重復檢測。然而，這種方法不能利用這樣一個事實，即每個傳感器也可以對單個邊界框預測中的不同屬性做出貢獻。CLOCS可以融合基于lidar的3D目標檢測和2D檢測任務的結果，它在非最大值抑制之前對兩個輸出候選進行操作，并使用兩組預測之間的幾何一致性來消除假陽性（FP），因為在不同的模式下很可能同時檢測到相同的FP。

point-level又稱早期融合，利用相機功能增強了LiDAR點云，在該方法中，使用變換矩陣找到LiDAR點和圖像之間的硬關聯。然而，由于融合質量受到點稀疏性、甚至有時當兩個傳感器的標定參數中存在輕微誤差時，這種方法都會受到影響。

proposal-level即深度融合是目前文獻中研究最多的方法，transformer[5，6，7]的進展解鎖了中間特征如何交互的可能性，盡管它們來自不同的傳感器。MV3D提出的代表性工作從LiDAR特征中提取初始邊界框，并使用圖像特征對其進行迭代優化。BEVFusion生成基于相機的BEV特征，如[10，11，12，13]中所強調的。Camera和激光雷達模態在BEV空間中連接，BEV解碼器用于預測3D box作為最終輸出。在TransFuser中，單視圖圖像和LiDAR的BEV表示由編碼器中的transformer在各種中間特征圖上融合。這導致編碼器的512維特征向量輸出，其構成局部和全局上下文的緊湊表示。

此外，本文將輸出反饋給GRU（門控遞歸單元），并使用L1回歸損失預測可微自車路線點。4D網絡[16]除了是多模態的，還將時間維度作為第四維度添加到問題中。首先單獨提取相機和激光雷達的時間特征[17]，添加圖像表示的不同上下文，論文收集了三個層次的圖像特征，即高分辨率圖像、低分辨率圖像和視頻。然后，使用變換矩陣融合交叉模態信息，以獲取給定3D pillar中心的2D上下文，該中心由BEV網格單元的中心點（xo，yo，zo）定義！

基于transformer的融合網絡背景

該方法可分為三個步驟：

1.應用基于神經網絡的主干從所有模態中單獨提取空間特征；

2.在transformer模塊中迭代細化一小組學習嵌入（目標Query/proposal），以生成一組3D box的預測；

3.計算loss；

該架構如圖1所示。

（1）Backbone

Camera：多camera圖像被饋送到backbone（例如，ResNet-101）和FPN，并獲得特征；

LiDAR：通常使用0.1m體素大小的voxelnet或0.2m pillar大小的PointPill對點進行編碼，在3D主干和FPN之后，獲得了多尺度BEV特征圖；

Radar：通過MLP將location、intensity、 speed轉換為特征！

（2） Query Initialization

在開創性工作[5]中，稀疏Query 被學習為一個網絡參數，并且是整個訓練數據的代表。這種類型的Query 需要更長的時間，即更多的順序解碼器層（通常為6個）來迭代收斂到場景中的實際3d目標。然而，最近依賴于輸入的Query [20]被認為是一種更好的初始化策略。這種策略可以將6層轉換器解碼器降到甚至單層解碼器層， Transfusion使用中心熱圖作為Query，BEVFormer引入了密集Query作為等距BEV網格！

（3）Transformers Decoder

為了細化目標proposal，在ViT模型中順序使用Transformer解碼器的重復模塊，其中每個塊由自關注層和交叉關注層組成。目標Query 之間的自關注在不同的目標候選之間進行成對推理。基于學習注意力機制，目標Query和特征圖之間的交叉注意力將相關上下文聚合到目標Query中。由于巨大的特征尺寸，交叉注意力是鏈條中最慢的一步，但已經提出了減少注意力窗口的技術[24]。在這些順序解碼器之后，d維細化Query 被獨立解碼，FFN層如下 [14]. FFN預測與Query位置的中心偏移δx，δy，邊界框高度為z，尺寸l，w，h為log（l），log（w），log（h），偏航角α為sin（α）和cos（α），速度為vx，vy，最后，針對K個語義類預測每類概率.

（4）損失計算

通過匈牙利算法，使用基于set的預測和GT之間的匹配，其中匹配cost定義為：

基于transformer的傳感器融合

TransFusion：通過特征的軟關聯解決了模態未對準問題，第一解碼器層構成從LiDAR BEV特征生成稀疏Query，第二解碼器層通過利用僅在從Query解碼的邊界框周圍具有交叉關注的局部感應偏差，利用具有軟關聯的圖像特征豐富LiDAR Query，它們還具有圖像引導的Query初始化層！

FUTR3D：與[6]密切相關，它對任何數量的傳感器模態都是魯棒的。MAFS（模態不可知特征采樣器）接受3D Query，并從多視圖相機、高分辨率激光雷達、低分辨率激光雷達和雷達收集特征。具體來說，它首先對Query進行解碼以獲得3D coordinate，然后將其用作錨點，以迭代方式從所有模態中收集特征。BEV特征用于激光雷達和相機，但對于雷達，在MAFS中選擇了前k個最近的雷達點。對于每個Query i，所有這些特征F都連接如下，其中Φ是MLP層：

定量分析

在這里，本文比較了之前討論的nuScenes方法，這是一個大型多模態數據集，由表1中的6臺攝像機、1臺激光雷達和5臺雷達的數據組成。該數據集共有1000個場景，訓練/驗證/測試集分為700/150/150個場景。

相機：每個場景有20幀視頻，12 FPS。3D邊界框標注為0.5秒，每個示例包括6個相機。

激光雷達：具有20FPS的32光束激光雷達也每0.5秒進行一次注釋。

指標：遵循nuScene的官方指標。關鍵指標如下：nuScenes檢測分數（NDS）、平均精度（mAP）、平均平移誤差（mATE）、平均尺度誤差（mASE）、平均方位誤差（mAOE）、平均速度誤差（mAVE）和平均屬性誤差（mAAE）。

一些調研結論

對于自動駕駛汽車的感知可靠性，準確的3D目標檢測是需要解決的關鍵挑戰之一，傳感器融合有助于利用平臺上所有傳感器的優勢，使這些預測更加準確。transformer已成為建模這些跨模態交互的最重要方法之一，特別是當傳感器在不同的坐標空間中運行時，這使得無法完美對齊。

-END-