編者語(yǔ)：后臺(tái)回復(fù)“入群”，加入「智駕最前沿」微信交流群
之前和大家從安全性、可靠性、用戶體驗(yàn)以及商業(yè)利益保護(hù)等多個(gè)角度聊了為什么自動(dòng)駕駛技術(shù)在落地前一定要進(jìn)行測(cè)試（相關(guān)閱讀：自動(dòng)駕駛技術(shù)落地前為什么要先測(cè)試？），今天智駕最前沿就繼續(xù)帶大家聊一聊自動(dòng)駕駛測(cè)試到底有哪些方法。
自動(dòng)駕駛技術(shù)有哪些測(cè)試？
對(duì)于自動(dòng)駕駛系統(tǒng)而言，測(cè)試可以分為仿真測(cè)試、實(shí)驗(yàn)室測(cè)試以及道路測(cè)試等多個(gè)層面，每個(gè)層面都有不同的側(cè)重點(diǎn)與目標(biāo)，但它們共同構(gòu)成了一個(gè)完整的測(cè)試體系。
仿真測(cè)試是測(cè)試中的第一道關(guān)卡，指的是將算法嵌入到計(jì)算機(jī)模擬環(huán)境中，通過(guò)虛擬的傳感器數(shù)據(jù)和道路場(chǎng)景對(duì)系統(tǒng)進(jìn)行初步驗(yàn)證。在仿真平臺(tái)上，可以定義如車(chē)輛并線、行人突然出現(xiàn)、交通信號(hào)燈變化、復(fù)雜道路標(biāo)志等各種典型交通場(chǎng)景，讓系統(tǒng)在“虛擬世界”中進(jìn)行感知與應(yīng)對(duì)。由于在仿真環(huán)境中測(cè)試成本極低、效率極高，團(tuán)隊(duì)可以在短時(shí)間內(nèi)覆蓋海量場(chǎng)景，快速發(fā)現(xiàn)算法漏洞，驗(yàn)證不同策略的優(yōu)劣。仿真測(cè)試還可以模擬各種極端天氣條件，比如大霧、暴雨、夜間弱光，或者如建設(shè)工地、道路施工區(qū)域等復(fù)雜道路環(huán)境，從而讓系統(tǒng)在進(jìn)入真實(shí)測(cè)試之前，盡可能多地“練習(xí)”各種邊緣場(chǎng)景。
仿真測(cè)試可以有效測(cè)試自動(dòng)駕駛技術(shù)的能力，但仿真畢竟不是現(xiàn)實(shí)，在實(shí)際環(huán)境中，感知算法所面臨的光照變化、傳感器噪聲、干擾雜波以及車(chē)輛動(dòng)力學(xué)模型都與虛擬仿真存在差距。為此，硬件在環(huán)（Hardware-in-the-Loop，簡(jiǎn)稱(chēng)HIL）測(cè)試成為第二道關(guān)卡。在這個(gè)階段，系統(tǒng)的核心硬件設(shè)備，如攝像頭、雷達(dá)、激光雷達(dá)控制器乃至整車(chē)的域控制器，會(huì)與仿真平臺(tái)進(jìn)行實(shí)時(shí)交互。仿真平臺(tái)會(huì)通過(guò)專(zhuān)用硬件接口將虛擬的傳感器信號(hào)輸送到真正的電子控制單元（ECU）上，然后再將ECU輸出的決策結(jié)果反饋到仿真環(huán)境，驅(qū)動(dòng)虛擬車(chē)輛模型或觸發(fā)其他虛擬交通參與者的動(dòng)作。通過(guò)這種方式，可以在實(shí)驗(yàn)室中，結(jié)合真實(shí)硬件對(duì)傳感器故障、信號(hào)延遲、網(wǎng)絡(luò)丟包等情形進(jìn)行測(cè)試，檢驗(yàn)系統(tǒng)在硬件集成層面的表現(xiàn)。當(dāng)雷達(dá)信號(hào)出現(xiàn)部分丟失時(shí)，系統(tǒng)是否仍能利用其他傳感器進(jìn)行冗余感知并保持安全行駛？當(dāng)ECU處于高負(fù)載狀態(tài)時(shí)，決策邏輯是否還能在規(guī)定時(shí)限內(nèi)輸出有效方案？這些都是只有在硬件在環(huán)的環(huán)境下才能真實(shí)還原并檢驗(yàn)的情形。
如果僅僅依賴(lài)仿真和硬件在環(huán)，仍然無(wú)法完全覆蓋真實(shí)道路的復(fù)雜性。接下來(lái)就要進(jìn)入封閉場(chǎng)地測(cè)試，以及真正的公開(kāi)道路測(cè)試。封閉場(chǎng)地測(cè)試通常在專(zhuān)業(yè)的試驗(yàn)場(chǎng)或測(cè)試中心進(jìn)行，場(chǎng)地會(huì)鋪設(shè)包括急彎、陡坡、環(huán)形車(chē)道、模擬交叉路口、模擬行人通道等多種道路場(chǎng)景，并且會(huì)搭建各種人造障礙物、交通標(biāo)志以及可移動(dòng)的假人或假車(chē)輛。可以根據(jù)測(cè)試目的，有針對(duì)性地設(shè)計(jì)不同的測(cè)試項(xiàng)目，比如低速自動(dòng)泊車(chē)測(cè)試、環(huán)道跟車(chē)測(cè)試、定點(diǎn)避障測(cè)試等等。與仿真相比，封閉場(chǎng)地測(cè)試最大的優(yōu)勢(shì)在于可以真實(shí)感受傳感器在不同光照、濕度、灰塵環(huán)境下的表現(xiàn)，讓車(chē)輛以真實(shí)狀態(tài)完成對(duì)周?chē)h(huán)境的感知與決策。并且測(cè)試車(chē)輛在執(zhí)行過(guò)程中遇到任何問(wèn)題，都可以實(shí)時(shí)收回控制，避免造成不必要的損失。
封閉場(chǎng)地測(cè)試之后，最具挑戰(zhàn)和價(jià)值的就是公開(kāi)道路測(cè)試。在這一步，測(cè)試車(chē)輛會(huì)在城市道路、高速公路、郊區(qū)道路等真實(shí)道路環(huán)境中行駛，與真實(shí)的交通參與者一起互動(dòng)。因?yàn)檐?chē)輛面臨的情況更加不可預(yù)測(cè)，測(cè)試團(tuán)隊(duì)往往需要先向當(dāng)?shù)亟煌ü芾聿块T(mén)申請(qǐng)測(cè)試牌照，并配備專(zhuān)門(mén)的安全員坐在駕駛位，隨時(shí)準(zhǔn)備在系統(tǒng)出現(xiàn)錯(cuò)誤判斷或失控風(fēng)險(xiǎn)時(shí)一鍵接管。公開(kāi)道路測(cè)試的目的是讓系統(tǒng)接受最真實(shí)的“實(shí)戰(zhàn)考驗(yàn)”，如會(huì)有人闖紅燈、會(huì)有行人突然橫穿馬路、會(huì)有復(fù)雜的交叉路口，有時(shí)還會(huì)遇到道路施工、信號(hào)燈故障或保護(hù)不良的道路標(biāo)志。在這樣的環(huán)境中測(cè)試，能最直接地檢驗(yàn)系統(tǒng)的魯棒性與安全性，也能夠產(chǎn)生大量寶貴的數(shù)據(jù)供后續(xù)回放分析之用。
除了上述主流的測(cè)試環(huán)節(jié)，還有一些針對(duì)特殊場(chǎng)景的測(cè)試方式。所謂極端場(chǎng)景測(cè)試，指的是對(duì)于發(fā)生概率極低卻一旦發(fā)生后果極為嚴(yán)重的場(chǎng)景進(jìn)行專(zhuān)項(xiàng)驗(yàn)證。舉例來(lái)說(shuō)，大霧天氣可能導(dǎo)致攝像頭無(wú)法取得清晰畫(huà)面；猛禽或野生動(dòng)物橫穿公路，可能導(dǎo)致雷達(dá)與視覺(jué)系統(tǒng)同時(shí)無(wú)法有效識(shí)別；或是突發(fā)道路塌方、積水、路面坑洼嚴(yán)重等極端路況，會(huì)讓自動(dòng)駕駛系統(tǒng)錯(cuò)誤判斷。為了讓系統(tǒng)具備足夠的魯棒性，測(cè)試團(tuán)隊(duì)會(huì)借助氣象實(shí)驗(yàn)室、沙塵實(shí)驗(yàn)室或?qū)ｉT(mén)的試驗(yàn)基地，模擬各種天氣條件與路況。在沙塵實(shí)驗(yàn)室里，測(cè)試人員會(huì)制造沙塵暴環(huán)境，讓激光雷達(dá)在模擬的沙塵遮擋下仍然能識(shí)別車(chē)輛與行人；在雨霧實(shí)驗(yàn)室，會(huì)用大型噴霧裝置制造濃霧場(chǎng)景，讓攝像頭感知失效時(shí)，雷達(dá)還能否發(fā)揮作用。通過(guò)這種模擬測(cè)試，系統(tǒng)才能在更極端的情況下保持對(duì)環(huán)境的基本感知與判斷。
除了實(shí)際駕駛測(cè)試，還有一種被稱(chēng)為“回放測(cè)試”的方法。回放測(cè)試的核心思路是把在公開(kāi)道路或封閉場(chǎng)地中采集到的海量傳感器數(shù)據(jù)（包括攝像頭視頻、雷達(dá)點(diǎn)云、激光雷達(dá)原始數(shù)據(jù)、慣導(dǎo)衛(wèi)星定位數(shù)據(jù)、車(chē)輛行駛狀態(tài)數(shù)據(jù)等）進(jìn)行標(biāo)注與分類(lèi)，然后將這些歷史數(shù)據(jù)輸入到新的算法版本或系統(tǒng)升級(jí)的版本中，看看在相同場(chǎng)景下系統(tǒng)的表現(xiàn)是否有所改進(jìn)。比如在某一次真實(shí)測(cè)試中，系統(tǒng)對(duì)一個(gè)突發(fā)行人場(chǎng)景判斷出現(xiàn)延遲，導(dǎo)致駕駛員不得不緊急介入。這時(shí)就可以將這一段關(guān)鍵數(shù)據(jù)提取出來(lái)，回放到新的算法版本中，驗(yàn)證新版本是否能在同樣的場(chǎng)景下提前識(shí)別行人并采取有效制動(dòng)。通過(guò)回放測(cè)試，不僅可以實(shí)現(xiàn)在實(shí)驗(yàn)室環(huán)境下對(duì)歷史問(wèn)題進(jìn)行驗(yàn)證，還可以大規(guī)模批量地對(duì)幾萬(wàn)小時(shí)的真實(shí)駕駛數(shù)據(jù)進(jìn)行再現(xiàn)，從而節(jié)省人力物力成本，加速問(wèn)題定位與優(yōu)化過(guò)程。
在測(cè)試過(guò)程中，還少不了一種叫作“模糊測(cè)試”或“隨機(jī)壓力測(cè)試”的方法。簡(jiǎn)單來(lái)說(shuō)，就是故意在傳感器數(shù)據(jù)或控制指令中加入噪聲、隨機(jī)丟包或者錯(cuò)誤數(shù)據(jù)，看看系統(tǒng)在“擁堵”“干擾”甚至“失聯(lián)”狀態(tài)下，能否通過(guò)內(nèi)部的容錯(cuò)機(jī)制保證安全性。如在硬件在環(huán)的測(cè)試環(huán)境中，可以在CAN總線或以太網(wǎng)通信鏈路上隨機(jī)制造一定比例的丟包或信號(hào)延遲，觀察系統(tǒng)在感知信息不完整或延遲時(shí)如何做出決策；或是在仿真平臺(tái)上給攝像頭模擬各種模糊、偏色、眩光等情況，看看目標(biāo)檢測(cè)模塊是否會(huì)出現(xiàn)誤判，或者是否會(huì)拒絕執(zhí)行指令而進(jìn)入安全模式。這些測(cè)試雖看似“折騰”，但是卻能有效暴露系統(tǒng)在非理想工況下的脆弱環(huán)節(jié)，為后續(xù)優(yōu)化提供了寶貴線索。
除了關(guān)注核心功能，測(cè)試還需要關(guān)注人機(jī)交互層面的體驗(yàn)與易用性。即便自動(dòng)駕駛算法足夠精準(zhǔn)，如果用戶在啟用功能時(shí)操作流程復(fù)雜、提示信息含糊，或者在系統(tǒng)異常時(shí)無(wú)法迅速理解提示內(nèi)容，也同樣會(huì)導(dǎo)致安全隱患。這就需要對(duì)HMI（人機(jī)交互界面）進(jìn)行專(zhuān)項(xiàng)評(píng)估，可以統(tǒng)計(jì)駕駛員按下“自動(dòng)駕駛”按鈕后從請(qǐng)求到系統(tǒng)接管所需的時(shí)間；檢測(cè)當(dāng)系統(tǒng)遇到復(fù)雜路況需要駕駛員接管時(shí)，儀表盤(pán)提示是否足夠直觀，聲音提示是否夠響亮；分析在高速場(chǎng)景下“自動(dòng)變道”功能啟動(dòng)時(shí)，副駕或后座乘客的舒適度，避免車(chē)輛在變道過(guò)程中產(chǎn)生強(qiáng)烈側(cè)傾或加減速幅度過(guò)大而嚇到乘客。通過(guò)這類(lèi)測(cè)試，可以不斷優(yōu)化界面設(shè)計(jì)、調(diào)整提示優(yōu)先級(jí)，確保自動(dòng)駕駛功能既安全，也能給使用者帶來(lái)良好的心理體驗(yàn)。
縱觀整個(gè)測(cè)試體系，我們會(huì)發(fā)現(xiàn)它并非簡(jiǎn)單的“從頭到尾跑一遍就完事”，而是一個(gè)持續(xù)迭代、不斷完善的閉環(huán)過(guò)程。從最初的單元測(cè)試到模塊級(jí)的仿真測(cè)試，再到硬件在環(huán)與封閉場(chǎng)地測(cè)試，最后進(jìn)入公開(kāi)道路測(cè)試，每一個(gè)環(huán)節(jié)都需要衡量成本與收益的平衡。同時(shí)，任何在后續(xù)階段被發(fā)現(xiàn)的問(wèn)題，都需要反饋到前一個(gè)環(huán)節(jié)，回歸到仿真環(huán)境或硬件在環(huán)環(huán)境進(jìn)行驗(yàn)證，直到確認(rèn)問(wèn)題徹底解決才會(huì)進(jìn)入下一階段。這樣一來(lái)，整個(gè)測(cè)試流程不僅可以發(fā)現(xiàn)新問(wèn)題，也會(huì)防止舊問(wèn)題再次出現(xiàn)。
自動(dòng)駕駛測(cè)試參考指標(biāo)
在自動(dòng)駕駛技術(shù)測(cè)試中使用的評(píng)價(jià)指標(biāo)其實(shí)非常豐富。在安全指標(biāo)層面需要統(tǒng)計(jì)系統(tǒng)在百萬(wàn)公里行駛里程中出現(xiàn)的碰撞次數(shù)、緊急制動(dòng)次數(shù)、駕駛員接管次數(shù)等，以量化安全風(fēng)險(xiǎn)。功能性能方面，會(huì)對(duì)感知準(zhǔn)確率進(jìn)行統(tǒng)計(jì)，比如對(duì)行人、車(chē)輛、交通標(biāo)志的漏檢率、誤報(bào)率，以及對(duì)道路邊緣、障礙物的檢測(cè)距離進(jìn)行衡量。為了測(cè)算定位精度，還要選擇在不同類(lèi)型的道路（高速、城區(qū)、鄉(xiāng)村、隧道等）中，收集車(chē)輛實(shí)際位置與高精地圖定位結(jié)果之間的橫向誤差和縱向誤差。規(guī)劃與決策性能則通過(guò)分析系統(tǒng)生成的路徑和最優(yōu)路徑之間的偏差，尤其在緊急避讓、高速并線等場(chǎng)景下，評(píng)估系統(tǒng)的軌跡平滑性與安全裕度。控制層面，需要關(guān)注如剎車(chē)從指令到實(shí)際制動(dòng)所用的時(shí)間、轉(zhuǎn)向響應(yīng)的延遲等車(chē)輛實(shí)際執(zhí)行指令時(shí)的響應(yīng)延遲和控制誤差。在整個(gè)測(cè)試周期里，這些指標(biāo)不僅用于階段性考核，也為后續(xù)優(yōu)化提供了精準(zhǔn)的方向。
在面臨極端環(huán)境時(shí)，還要考慮溫度、濕度等對(duì)傳感器和硬件的影響。在高溫環(huán)境下，傳感器可能出現(xiàn)死機(jī)或性能衰退；在極寒環(huán)境中，攝像頭鏡頭表面會(huì)結(jié)霜，激光雷達(dá)的傳輸信號(hào)也會(huì)受到冰雪反射的干擾。為了驗(yàn)證系統(tǒng)在這些極端環(huán)境下的穩(wěn)定性，有些測(cè)試團(tuán)隊(duì)會(huì)把傳感器和ECU放到高溫烤箱或低溫冷庫(kù)里進(jìn)行長(zhǎng)時(shí)間運(yùn)行測(cè)試，觀察系統(tǒng)是否會(huì)出現(xiàn)死機(jī)、重啟，或者數(shù)據(jù)出現(xiàn)跳變。在高濕度環(huán)境下，團(tuán)隊(duì)甚至?xí)M(jìn)行淋雨實(shí)驗(yàn)，讓水霧模擬雨滴打在攝像頭鏡頭和傳感器表面，測(cè)試系統(tǒng)的防水防塵等級(jí)是否達(dá)到設(shè)計(jì)標(biāo)準(zhǔn)。這些極端環(huán)境測(cè)試，雖然看起來(lái)有些偏執(zhí)，卻對(duì)保證系統(tǒng)面向各種天氣和路況都能正常運(yùn)行至關(guān)重要，畢竟自動(dòng)駕駛系統(tǒng)真正的使用場(chǎng)景無(wú)法估計(jì)，只有確保各個(gè)場(chǎng)景下的安全性，才可以說(shuō)是真正的安全。
自動(dòng)駕駛測(cè)試的未來(lái)趨勢(shì)
隨著自動(dòng)駕駛技術(shù)的不斷演進(jìn)，測(cè)試方法也在持續(xù)改進(jìn)與創(chuàng)新。從最早的基于規(guī)則的測(cè)試腳本，到如今結(jié)合機(jī)器學(xué)習(xí)技術(shù)的智能化場(chǎng)景生成，再到未來(lái)可能出現(xiàn)的數(shù)字孿生與虛擬現(xiàn)實(shí)技術(shù)的深度融合，自動(dòng)駕駛測(cè)試正在逐步從“手動(dòng)撰寫(xiě)測(cè)試用例”向“自動(dòng)化生成高危場(chǎng)景”升級(jí)。特別是在大數(shù)據(jù)與人工智能的加持下，可以利用數(shù)據(jù)驅(qū)動(dòng)的方法，從采集到的車(chē)輛行駛數(shù)據(jù)中自動(dòng)挖掘極端風(fēng)險(xiǎn)場(chǎng)景，并生成相應(yīng)的測(cè)試腳本，讓系統(tǒng)在仿真環(huán)境中優(yōu)先“練習(xí)”這些高危場(chǎng)景。這樣一來(lái)，測(cè)試效率和覆蓋率都能大幅提高，能夠更快地識(shí)別出系統(tǒng)弱點(diǎn)，縮短開(kāi)發(fā)周期。
最后的話
自動(dòng)駕駛功能之所以在落地之前必須進(jìn)行全面系統(tǒng)的測(cè)試，核心原因就在于要確保系統(tǒng)在真實(shí)世界的復(fù)雜環(huán)境中能夠以安全可靠的方式運(yùn)行。測(cè)試不僅是一個(gè)簡(jiǎn)單的“查bug”過(guò)程，而是一個(gè)貫穿技術(shù)驗(yàn)證、安全保障、法規(guī)合規(guī)、用戶體驗(yàn)提升和商業(yè)利益保護(hù)的多維度環(huán)節(jié)。通過(guò)仿真測(cè)試能夠高效快速地驗(yàn)證算法思路，通過(guò)硬件在環(huán)測(cè)試可以檢驗(yàn)硬件與軟件的協(xié)同能力，通過(guò)封閉場(chǎng)地和公開(kāi)道路測(cè)試則能夠讓系統(tǒng)接受最真實(shí)、最嚴(yán)苛的考驗(yàn)。極端場(chǎng)景測(cè)試、回放測(cè)試和模糊測(cè)試等方法更進(jìn)一步覆蓋滯后于常規(guī)測(cè)試中的特殊風(fēng)險(xiǎn)場(chǎng)景，保證系統(tǒng)在各種可能的情況下都具備足夠的魯棒性。
自動(dòng)駕駛測(cè)試就像一部精密的電影鏡頭，從編劇到剪輯，從演員到現(xiàn)場(chǎng)布景，都必須一絲不茍，才能讓觀眾在真正走進(jìn)電影院時(shí)享受到完整、流暢而真實(shí)的視覺(jué)盛宴。同樣，測(cè)試團(tuán)隊(duì)要做的，就是讓自動(dòng)駕駛系統(tǒng)在“舞臺(tái)”上經(jīng)過(guò)千百次排練，才能在正式上映的時(shí)候不會(huì)出任何差錯(cuò)。只有當(dāng)仿真平臺(tái)上的“虛擬行人”與“虛擬車(chē)輛”都被系統(tǒng)準(zhǔn)確識(shí)別，當(dāng)封閉場(chǎng)地中的“假障礙”與“假信號(hào)燈”都被系統(tǒng)穩(wěn)健應(yīng)對(duì)，當(dāng)真實(shí)道路上的“紅燈亂停”與“行人闖入”都能讓車(chē)輛提前預(yù)判并安全避讓之后，我們才可以放心地將自動(dòng)駕駛功能推向更多消費(fèi)者和更廣泛的道路環(huán)境。
-- END --
