--關注、星標、回復“智駕圈子”--
↓↓查看：「智駕最前沿」智駕圈子超百份資料目錄↓↓
智能交通系統是車輛有序運行的重要保障，道路環境感知技術是智能交通系統的基礎。傳感器感知并采集周圍環境數據在實現無人駕駛的各個階段都不可或缺。多傳感器信息融合（Multi-Sensor Infor?mation Fusion，MSIF）就是利用計算機科學技術將來自各個傳感器或多源頭的信息和數據在預定的規則下進行數學分析加上信息綜合，以完成相應的決策和必要的估算而執行的信息處理過程。歡迎關注「智駕最前沿」微信視頻號
在這個過程中要充分地利用多源數據進行合理操作與使用，信息融合不但運用了多個傳感器互相協同工作的優勢，并且運用算法綜合處理了大量其它信息源數據，使得整個傳感器系統更加智能，信息融合的最終目的就是基于各個傳感器獲得的分離觀測信息，對信息多級別、多維度分析綜合之后推理出更多有價值的信息，對車輛的行為進行決策。在這個過程中，多傳感器信息融合算法有著不可替代的決策作用，所有的信息匯總之后經由算法得出最終的決策判斷。近年來隨著芯片、計算機科學技術的快速發展，硬件算力的提升極大促進無人駕駛算法的發展，本文從多傳感器的硬件配合應用出發，重點介紹近年來用于無人駕駛的信息融合算法的研究與進展，提出基于機器學習的算法研究是未來的發展趨勢。
傳感器應用現狀
無人駕駛車輛在面對復雜的路況環境下，需要大量的傳感器采集路況信息供車輛綜合分析得出決策，單一、同類型的傳感器無法滿足無人駕駛車輛分析路況信息的需求，在不同的道路環境下，不同傳感器有各自的獨特優勢，目前國內外應用較多的主要分為3類：
（1）基于激光雷達;
（2）基于激光雷達加攝像頭；
基于激光雷達的定位方法完全依賴于激光雷達傳感器，具有測量精度高、處理方便的優點。然而，盡管激光雷達行業努力降低生產成本，但與攝像頭比，它仍然有很高的價格。在典型的基于LiDAR+Camera的定位方法中，LiDAR數據僅用于建立地圖，并使用攝像頭數據估計無人駕駛汽車相對于地圖的位置，從而降低了成本。基于攝像機的定位方法是廉價和方便的，但是易受環境的影響，特別是遇到大風、下雨、霧霾的惡劣天氣，單純基于攝像頭的定位通常不精確、不可靠。2.1 激光雷達的應用
激光雷達的工作原理：激光雷達(LiDAR)能釋放多束激光，接受物體反射信號，計算目標與自身的距離。應用較多的是利用反射信號的折返時間計算距離（ToF），也有調頻連續波（FMCW）方法。激光雷達具有分辨率高、隱蔽性好、抗有源干擾能力強、低空探測性好、輕便靈巧的優點，不足是全天候性能低于微波雷達；波束窄，搜索目標困難；技術上難度較大。在過去的幾年中，Mobile LiDAR取得了很大的進步。移動激光雷達捕獲不再需要專家精心組裝的大量電纜和配件。現在，所有測繪級傳感器（例如Velodyne和Ouster的傳感器以及RIEGL、Trimble和Leica的測量級平臺）都更容易攜帶，即插即用。從寬的垂直視場或更長的測量范圍到多脈沖或更高的精度，每種傳感器都有其自身的優勢。激光雷達的發展趨勢主要有2方面：（1）挑戰點密度和機器學習；（2）減少人工干預。2.2 毫米波雷達的應用
毫米波雷達發射電磁波并檢測回波來探測目標物的有無、距離、速度和方位角。主要原理是：通過振蕩器形成持續變化的信號，在發出信號和接收信號之間形成頻率差，其差值與發射-接收時間差成線性關系，只要通過頻率差就能計算車輛與物體距離。毫米波雷達測速原理和普通雷達類似，有2種方法：（1）基于多普勒原理，因發射的電磁波和被探測目標產生相對移動，回波的頻率會和發射波的頻率不一樣，經過檢測頻率差可測得目標物相對于雷達的移動速度。但這種方法不能測得切向速度；（2）通過跟蹤位置，進行微分求得速度。毫米波雷達的發展在對雷達傳感器選擇上是采用短距的24 GHz與長距的77 GHz組合還是全部采用77 GHz雷達一直是技術爭論的焦點，首先，77 GHz毫米波雷達的檢測精度更高，相對體積更小巧，利于車上器件安裝和布局，77 GHz的波長是3.9 mm，是真正意義上的毫米波。由于天線尺寸隨著載波頻率上升而變小，所以77 GHz波段的毫米波雷達系統尺寸也會比24 GHz更緊湊。77 GHz毫米波雷達正逐步取代24 GHz，成為汽車領域主流的傳感器。2.3 攝像頭的應用
車載攝像頭是ADAS系統的主要視覺傳感器。是實現眾多預警、識別類ADAS功能的基礎。通過鏡頭采集圖像，由內部感光組件電路及控制組件對圖像進行處理并轉化為數字信號，從而感知車輛周圍的路況，實現圖像影像識別功能。在眾多ADAS功能中，視覺影像處理系統較為基礎，對于駕駛者也更為直觀，而攝像頭又是視覺影像處理系統的基礎，因此車載攝像頭對于智能駕駛必不可少。車道偏離預警（LDW）、前向碰撞預警（FCW）、交通標志識別（TSR）、車道保持輔助（LKA）、行人碰撞預警（PCW）、全景泊車（SVP）、駕駛員疲勞預警眾多功能都可借助攝像頭實現，有的功能甚至只能通過攝像頭實現（表1）。車載攝像頭包括單目攝像頭、雙目攝像頭、廣角攝像頭。目前，隨著ADAS功能模塊使用率快速提升，較長時期內傳感器市場的需求將主要被攝像頭、毫米波雷達、激光雷達這3類傳感器所驅動，只有各個傳感器互相配合使用，形成優勢互補，再加上信息融合算法的優化處理，才能更好的收集和處理無人駕駛中形成的海量環境數據，并給出相對更準確的處理方案。
多傳感器信息融合的核心算法
無人駕駛感知模塊中傳感器融合已經成為了標配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產品），也可以是數據層，還可以是任務層，如障礙物檢測（Obstacle detection）、車道線檢測（Lane detection）、分割（Segmentation）和跟蹤（Track?ing）以及車輛自身定位（Localization）等。對于多傳感器系統來說，時刻要面對多樣性、復雜性的環境信息，魯棒性和并行處理的能力便成了無人駕駛對信息融合算法的最基本要求。運算速度、識別精度、連接前端預處理系統以及后端信息識別系統的接口穩定性、對不同技術和多種方法的上下兼容多方協調能力、對信息樣本和信息質量的特殊要求的多種能力也都作為算法性能的考察方面；通常以非線性數學為基礎的方法，若同時具備容錯性、自適應性、聯想記憶以及并行處理的能力，則均可作為融合算法使用。
3.1 隨機類
信號級融合最直接的方法是加權平均，對多個傳感器測量到的多條冗余信息進行加權平均，將最終的結果作為融合值。該方法直接對數據源進行處理，其所求得的平均數，已包含了長期變動趨勢。但是一般用于數據的前期處理，加權平均主要作為輔助算法使用。對一個運動物體，能直觀觀察到它當前的運動狀態。然而，一般都無法精確測量物體當前的運動狀態，而更多試驗中需要預測物體在下一時刻的運動狀態，對現場環境進行測量時，系統會存在相當的干擾噪聲。這時就需要估計當前的運動狀態,卡爾曼濾波（Kalman filtering）是一種利用線性系統狀態方程，通過系統輸入輸出觀測數據，對系統狀態進行最優估計的算法。由于觀測數據中包括系統中的噪聲和干擾的影響，所以最優估計也可看作是濾波過程。卡爾曼濾波預測方程見圖1。該方法通過測量模型的統計特性遞推，得出統計意義下的最優融合和數據估算。在無人駕駛中，卡爾曼濾波應用廣泛，包括濾波操作-時序信息融合、多傳感器的信號融合、在幀間位置插值，通過插值進行加速、對目標框進行平滑處理。卡爾曼濾波器的歷史雖已經超過半個世紀,但是對于輸入數據的噪聲信息和狀態估計的平滑來說仍然是最有效的傳感器融合算法之一。它假定位置參數是符合高斯分布的,即完全可以被均值和協方差參數化:X～N(μ,σ-2)，當傳感器的信息流開始的時候,卡爾曼濾波器使用一系列的狀態信息來預測和衡量更新步驟去更新被追蹤目標的信心值(概率)。多貝葉斯估計將每1個傳感器作為1個貝葉斯估計，將多個獨立物體的關聯概率分布綜合成1個聯合的后驗概率分布，通過求聯合分布函數的最小似然，得出多傳感器信息綜合的最終融合值與實際環境的1個先驗模型，從而對整個環境產生1個特征描述。貝葉斯估計的本質是通過貝葉斯決策得到參數θ的最優估計，使得總期望風險最小(圖2)。北京交通大學的樊俐彤針對運動單目攝像頭下的多目標跟蹤問題,在基于檢測的跟蹤方法框架下,對基于Bayes后驗估計的多目標跟蹤方法進行了研究。采用可逆跳躍馬爾科夫蒙特卡洛（RJMCMC）求解Bayes后驗估計,該算法通過隨機跳躍動作可以隨機的增加或移除目標,可以適應目標數目隨機變化的情況。3.2 AI類
（1）數據層融合處理，針對傳感器采集的數據，依賴于傳感器類型，進行同類數據的融合。數據級的融合要處理的數據都是在相同類別的傳感器下采集，所以數據融合不能處理異構數據，流程如圖3所示；（2）特征層的融合處理，提取所采集數據包含的特征向量，用來體現所監測物理量的屬性，這是面向監測對象特征的融合。如在圖像數據的融合中，可以采用邊沿的特征信息，來代替全部數據信息有，流程如圖4所示；（3）決策層的融合處理，根據特征級融合所得到的數據特征，進行一定的判別、分類，以及簡單的邏輯運算，根據應用需求進行較高級的決策，屬于高級融合（流程如圖5所示）。多傳感器融合在硬件層面并不難實現，重難點都在算法上。擁有很高的技術壁壘，因此算法將占據價值鏈的主要部分。基于傳感器體系結構的方法融合來自各種傳感器（如激光雷達、雷達和攝像頭）的數據，以探索它們各自的特點，提高環境感知能力。Darms等介紹了無人駕駛汽車“Boss”采用的基于傳感器融合的運動車輛檢測與跟蹤方法（卡內基梅隆大學的汽車在2007年DARPA城市挑戰賽中獲得第1名）。MOT子系統分為2層，傳感器層從傳感器數據中提取特征，這些特征可用于根據點模型或盒模型描述移動障礙物假設。傳感器層還嘗試將特征與來自融合層的當前預測假設相關聯。無法與現有假設關聯的功能用于生成新的建議。對與給定假設相關聯的每個特征生成觀察，封裝更新假設狀態估計所需的所有信息。融合層根據傳感器層提供的建議和觀測，為每個假設選擇最佳跟蹤模型，并使用卡爾曼濾波器估計（或更新）假設狀態的估計。Cho等描述卡內基梅隆大學新的試驗性自主車輛使用的新MOT子系統。以前的MOT子系統，由Darms等人提出。Mertz等使用可直接從二維激光雷達、從三維激光雷達投影到二維平面或從多個傳感器（激光雷達、雷達和攝像頭）融合獲得的掃描線。掃描線被轉換成世界坐標并被分割。為每個線段提取直線和角點特征。分段與現有障礙物相關聯，并使用卡爾曼濾波器更新目標的運動學。Byun等合并由多個傳感器（如雷達、二維激光雷達和三維激光雷達）生成的移動障礙物軌跡。將二維激光雷達數據投影到二維平面上，利用聯合概率數據關聯濾波器（JP?DAF）跟蹤運動障礙物。三維激光雷達數據被投影到一幅圖像上，并使用區域增長算法分割成運動障礙物。最后，利用迭代最近點（ICP）匹配或基于圖像的數據關聯來估計或更新軌跡的姿態。Xu等描述了卡內基梅隆大學的新型無人駕駛試驗車對用于保持距離的移動障礙物的上下文感知跟蹤。給定行為上下文，在道路網絡中生成ROI。找到感興趣區域內的候選目標并將其投影到道路坐標中。通過將來自不同傳感器（激光雷達、雷達和攝像機）的所有候選目標關聯起來，獲得距離保持目標。薛等融合激光雷達和攝像機數據，提高行人檢測的準確性。他們利用行人高度的先驗知識來減少錯誤檢測。他們根據針孔攝像機方程，結合攝像機和激光雷達的測量來估計行人的高度。多傳感器數據深度圖的融合是近幾年興起的基于深度學習的多傳感器信息融合算法。主要是用于激光雷達和攝像頭的數據融合，激光雷達深度傳感器的數據比較稀疏，分辨率低，優點是數據可靠，而攝像頭傳感器獲取的圖像比較致密并分辨率高，缺點是獲取的深度數據可靠性差，利用多傳感器數據深度圖融合將兩者進行優勢互補。Deng和Czarnecki等提出一個多視圖標記的目標檢測器。檢測器將RGB圖像和激光雷達點云作為輸入，并遵循2步目標檢測框架。第1步，區域提議網絡（RPN）在點云的鳥瞰視圖（BEV）投影中生成3D提議。第2步，將3D提議邊框投影到圖像和BEV特征圖，并將相應的圖截取發送到檢測頭（Detector head），以進行分類和邊界框回歸。提供最終的分類、定位和定向結果。與其他多視圖方法不同，裁剪的圖像特征不直接饋送到檢測頭，而是被深度信息掩蓋以過濾掉3D邊框外的部分。圖像和BEV特征的融合具有挑戰性，因為它們來自不同的視角。這里引入了1種新檢測頭，不僅可以從融合層提供檢測結果，還可以從每個傳感器通道提供檢測結果。因此，可以用不同視圖標記的數據訓練目標檢測器，以避免特征提取器的退化。來自田納西大學諾克斯維爾分校的Nabati和Qi提出將攝像頭采集的圖像數據和雷達數據進行中間特征層的融合，以達到精確的3D目標檢測。（1）首先使用CenterNet算法，利用獲得的攝像頭數據預測目標的中心點，并回歸得到目標的3D坐標、深度和旋轉信息。（2）然后利用了視錐方法，將雷達檢測到的目標數據和上面檢測到的目標中心點進行關聯。（3）將關聯后的目標特征和雷達數據檢測到的深度與速度信息組成的特征圖并聯，再進行3D目標深度、旋轉、速度和屬性的回歸。該算法解決了高度信息不準確的問題，引入了雷達點云預處理步驟。Zhong，Wu等提出的完整關聯網絡（CFCNet）是1種端到端的深度模型，用RGB信息做稀疏深度完整化。2D深度規范相關性分析（2D2CCA），作為網絡約束條件，可確保RGB和深度的編碼器捕獲最相似語義信息。該網絡將RGB特征轉換到深度域，并且互補的RGB信息用于完整丟失的深度信息。完整的密集深度圖被視為由兩部分組成。一個是可觀察并用作輸入的稀疏深度，另一個是無法觀察和恢復的深度。同樣，相應深度圖的整個RGB圖像可以分解為2部分：（1）稀疏RGB，在稀疏深度可觀察位置保留相應的RGB值；（2）互補RGB（Complementary RGB），即從整個RGB圖像中減去稀疏RGB（Sparse RGB）的部分。在訓練期間，CFCNet會學習稀疏深度和稀疏RGB之間的關系，并用所學知識從互補RGB中恢復不可觀察的深度。在此基礎上，Luc Van Gool提出了一種新方法，可以精確地完整化RGB圖像引導的稀疏激光雷達深度圖。該文提出一種融合方法，由單目相機提供RGB指導，利用目標信息并糾正稀疏輸入數據的錯誤，這樣大大提高了準確性。此外，利用置信度掩碼考慮來自每種模態深度預測的不確定性。
結論與展望
本文綜述了多傳感器信息融合在無人駕駛中的研究現狀，總結得出了多傳感器信息融合是一門跨多個學科的綜合理論和方法，這些理論和方法還處在不斷變化和持續發展過程中。
（1）隨著各傳感器硬件的快速迭代，多傳感器信息融合有了更好的解決方法，在硬件方面，傳感器的制造與研發是重點，如何將各個傳感器更加完美的配合在一起，更好更快的得到車輛行駛過程中的海量數據是實現無人駕駛技術的關鍵，其中包括攝像頭如何更好克服環境因素的干擾，77 GHz毫米波雷達的成熟生產制造工藝流程的設計，以及如何降低激光雷達的使用成本都是產業化需要克服的問題。
（2）在數據采集方面，多傳感器數據收集主要集中在攝像頭、激光雷達和毫米波雷達3類傳感器搭載在地面車輛上，但目前缺少針對中國復雜交通環境建立起來的數據集，交通部門相關工作的推進完善會為數據采集提供更好的環境，為加快無人駕駛的發展提供基礎支撐。另外，數據融合系統的設計還存在很多問題，包括還沒有很好解決融合系統中的容錯性和魯棒性問題，各傳感器如何克服惡劣交通環境下的信息融合也需要被關注。
（3）多傳感器融合算法性能的評價標準不一，未形成基本的理論框架和廣義的融合算法，都是在各自特定的領域特定的問題中展開的，建立多傳感器融合算法性能的評價標準是推動汽車行業多傳感器融合發展的重要舉措之一。
-- END --
轉載自網絡，文中觀點僅供分享交流，不代表本公眾號立場，如涉及版權等問題，請您告知，我們將及時處理。
