隨著有越來越多汽車廠商開始將不同的傳感器整合到先進駕駛輔助系統(ADAS)/自動駕駛車輛，他們通常都會認同“傳感器融合(sensor fusion)”是高度自動化駕駛安全性的關鍵。
但不為人知的是，這些廠商所采用的數據──是原始(raw)數據或經過處理的數據？──細節，以及他們在融合不同種類傳感器數據時面臨的挑戰；如市場研究機構Strategy Analytics汽車市場分析師Ian Riches所言：“目前的傳感器融合并沒有在原始傳感器數據上完成，通常每個傳感器都會進行自己的本地處理。”
EDA供應商明導國際(Mentor Graphics)將在近日于美國底特律舉行的年度SAE World Congress汽車工程師大會上，展示如何將來自不同傳感設備──雷達、光達、視覺或超音波…等等──的原始資料實時融合，以實現在傳感精確度以及整體系統效益上的大幅提升。
Mentor Graphics正推出名為DRS360的自動駕駛平臺，號稱能將來自所有系統傳感器之未經過濾的信息直接傳送到一個中央處理單元，然后將那些原始傳感器數據在各個層級實時進行融合；該公司副總裁暨嵌入式系統部門總經理Glenn Perry接受EE Times采訪時，比較了“傳感器融合”與“原始資料融合”的不同，指出兩者之間存在著“微妙卻非常重要的差異”。
一般來說，提供給汽車廠商的傳感器是模塊化設計，以預先處理數據；Strategy Analytics的Riches解釋：“舉例來說，從攝影機傳送至融合系統的數據并不會是實際的影像數據，而是對影像中重要區域的描述──像是哪里有一條白線、哪里有一輛車、哪里有交通號志…而所有的融合在這時候才以那些較高層級的數據進行。”
*以來自不同傳感器模塊經處理之數據進行的傳感器融合流程
（來源：Mentor Graphics）*
Mentor認為，擺脫各個終端節點使用之傳感器模塊的預處理微控制器，選用原始資料，能讓ADAS/自動駕駛車輛的設計工程師大幅提升實時性能，并降低整體系統成本與復雜度；此外也能利用所有擷取到的傳感器數據，為車輛所在環境與駕駛路況建立最高分辨率的模型。
DRS360是一款可開發符合ISO 26262 ASIL D標準之系統的平臺；Mentor的Perry指出，該平臺以賽靈思(Xilinx)的Zynq系列FPGA處理原始數據融合，搭配負責ADAS或自動駕駛功能的SoC (可以是ARM或x86架構)，以及一顆MCU (例如英飛凌-Infineon的安全微控制器)。
*DRS360平臺能提供集中化的原始數據融合
（來源：Mentor Graphics）*
產業顧問機構Vision Systems Intelligence創辦人Phil Magney表示：“傳感器融合是一項復雜的任務，用原始數據會更難；”他解釋，“原始數據融合能更有效率地讓運算資源在集中化的系統中整并，不過在算法的整合上面臨更艱難的挑戰。”
為何原始資料融合很困難？
原始資料融合難在哪里？Mentor的Perry表示，首先是每個傳感器會產生數據流，而且是以不同的畫面更新率、不同的采樣率以及間隔時間：“這是一個異步(asynchronous)系統；”其次，不同類型的數據：“需要被統整為一致性的表述(cohesive representation)。”
例如攝影機的原始影像(2D)、光達的點云(point cloud，為3D)以及雷達的ADC輸出，這些都必須被融合到符合時間/空間的3D環境圖；而第三，如Perry所言，必須要被統整的：“是真正很龐大的數據流。”針對未指明的3D數據集，Mentor還開發了取得專利的算法，能實現將光達的空間位置數據、來自雷達的車輛速度數據，以及視覺設備的物體偵測數據之融合。
Perry表示，過去在分布式的傳感器數據模塊中，每個傳感器通常會丟棄一大堆資料；但集中化的解決方案采用未過濾之傳感器數據，能確保精確度與可靠度的強化；他強調Mentor花費兩年的時間進行該平臺的開發：“對于系統效益的改善，我們自己都很驚訝──包括延遲的降低與處理性能的增加，都是由原始數據融合的算法所實現。”
而產業專家認為，原始資料融合可望在未來催生更“開放”的智能車輛平臺，取代目前比較像是“黑盒子”的方案。
產業顧問機構Vision Systems Intelligence創辦人暨首席顧問Phil Magney將原始傳感器資料融合稱為“產業界的發展方向”，他認為：“其他的技術進展也能搭配原始數據融合；舉例來說，神經網絡將能因為不同來源的原始數據而提升性能。”
而分析師們也認為，Mentor Graphics之DRS360平臺相對較大的“開放性”，會是其優勢之一；如Strategy Analytics分析師Ian Riches表示：“該平臺能提供一線汽車零組件供應商或車廠最大的靈活性，來設計他們自己的解決方案并帶來自有價值。”
Riches進一步指出，現在像是Mobileye的系統通常就是個“黑盒子”，一線汽車零組件供應商要利用其方案打造自己的產品，就不得不用成本來競爭，因為他們無法自己調整系統的核心算法，Mobileye將算法視為IP。
不過DRS360無論在使用的芯片或是執行的算法上都有彈性，Magney表示：“到目前為止，大多數ADAS應用程序都是透過對象數據(object data)來完成，也就是傳感器模塊會做所有事情，例如偵測并針對場景中的相關對象進行分類。”
Maney同意Riches的說法，認為Mobileye的解決方案就像是“黑盒子”；而他進一步指出：ADAS應用程序是可以采用“邊緣處理(Edge processing)”，但對車輛來說，將處理程序整并在一起更實際。
DRS360的可擴展性也很重要，廠商可以不必為不同ADAS或自動駕駛車輛各自開發平臺，而是以DRS360平臺進行擴充，開發自己的解決方案；許多車廠認為這才是利潤所在。
但是一個平臺有FPGA又有SoC與MCU，對廠商來說在成本上負擔不會太大嗎？Riches并不認為：“一輛車子會有大量的標配ADAS功能與傳感器，像是DRS360這種集中化的架構在理論上反而能省錢；”他解釋：“沒錯，你需要添加中央控制器，但可以不必在每個傳感器配備搭配車輛的多個較小型處理單元。”
誰能因為采用集中化平臺而獲益？
Strategy Analytics的Riches表示，對于希望最終產品包含自家獨特IP的廠商來說，DRS360平臺可提供顯著優勢，但這對于想要統包式(turnkey)解決方案的人來說卻是缺點，因為意味著要讓產品上市，得做更多事。
Mentor Graphics副總裁暨嵌入式系統部門總經理Glenn Perry表示：“每家廠商──無論他們是不是專家──都會有特定需求，需要某些客制化元素；”在這方面，他認為DRS360可以滿足那些需求，如果車廠真的沒有專家、不知道該怎么找到想要的功能，一線汽車零組件供應商就可以利用該平臺自行做技術上的調整，再提供給車廠。
另一家市場研究機構IHS Markit的汽車電子市場首席分析師Luca De Ambroggi認為，DRS360對供應鏈上許多廠商來說都有利，從正在尋找開發平臺的系統業者到芯片供應商，還有那些不想或不能自己開發軟件、系統安全性或AI等功能的人。
跟芯片供應商搶生意？
但最大的問題是，Mentor推出DRS360平臺是準備跟Mobileye/Intel與Nvidia等積極搶進汽車市場的芯片廠商搶生意嗎？
對此Riches指出，傳感器模塊可能是受沖擊最大的廠商，因為很多這些業者是以搭配傳感器的處理性能與算法做為產品附加價值，但DRS360平臺的集中化架構，讓傳感器廠商被“降級”，只需要提供原始數據。
“Mentor不是芯片供應商，我猜他們也會保持平臺的非關芯片，但或許Mobileye/Intel與Nvidia的想法會不一樣；”IHS Markit的De Ambroggi表示，Mentor的觀點是從架構與設計支持、軟件平臺出發，并非是推銷特定芯片。
*DRS360平臺的集中化原始數據融合流程
（來源：Mentor Graphics）*
Mentor的Perry坦承，在中央處理原始數據融合，芯片供應商可能有自己的方法，例如利用GPU的TFLOP等級處理性能：“通常是擁有硬件與深度學習軟件的人，會有做這種生意的動機；”他表示，Mentor認為DRS360與其他解決方案的差異，在于能以最少的處理性能做到原始數據融合。
雖然對于透露DRS360平臺以FPGA、SoC與MCU實現的處理性能細節有所顧慮，Perry聲稱該平臺能打造全自動駕駛車輛，而且僅需100瓦的功率；具體來說，他指出FPGA功耗約24瓦，兩顆SoC各15瓦，安全微控制器功耗則是5W。
Perry并指出，采用FPGA執行原始數據融合算法，是因為其高性能與高容量，能直接處理原始數據，數據封包不需要從內存進進出出；此外：“你可以直接將FPGA與來自不同類型的傳感器數據流鏈接，這是有彈性的，能適應供應商指定的不同種類傳感器實體接口。”
Strategy Analytics的Riches表示：“對ADAS/自動駕駛車輛來說，這種彈性會很實用，而且因為傳感器并沒有標準組合，移動那些傳感器數據的標準方式也還沒出現。”
編譯：Judith Cheng
本文授權編譯自EE Times，版權所有，謝絕轉載
關注最前沿的電子設計資訊，請關注“電子工程專輯微信公眾號”。
