編者語(yǔ)：后臺(tái)回復(fù)“入群”，加入「智駕最前沿」微信交流群
在自動(dòng)駕駛技術(shù)的發(fā)展歷程中，模塊化架構(gòu)曾長(zhǎng)期占據(jù)主導(dǎo)地位，從多傳感器數(shù)據(jù)采集，到特征提取與目標(biāo)檢測(cè)，再到路徑規(guī)劃與軌跡優(yōu)化，最后落到車輛控制執(zhí)行，每一個(gè)環(huán)節(jié)都對(duì)應(yīng)一個(gè)獨(dú)立的子系統(tǒng)。隨著深度學(xué)習(xí)的崛起，“一段式端到端”（single-stage end-to-end）的方法應(yīng)運(yùn)而生，它用一個(gè)統(tǒng)一的神經(jīng)網(wǎng)絡(luò)模型將原始傳感器輸入直接映射到車輛的控制指令。這種設(shè)計(jì)理念與傳統(tǒng)流水線式架構(gòu)相比，不僅在系統(tǒng)簡(jiǎn)化和性能優(yōu)化方面展現(xiàn)出顯著優(yōu)勢(shì)，更是逐步改變自動(dòng)駕駛技術(shù)的研發(fā)范式。那一段式端到端對(duì)于自動(dòng)駕駛來(lái)說(shuō)到底有何優(yōu)勢(shì)？
一段式端到端的組成及實(shí)現(xiàn)
一段式端到端模型通常由感知編碼器、環(huán)境理解模塊、決策預(yù)測(cè)層以及控制生成器四大部分構(gòu)成。感知編碼器負(fù)責(zé)提取原始傳感器數(shù)據(jù)（例如攝像頭圖像、點(diǎn)云或毫米波雷達(dá)回波）的多尺度特征，它可以采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）或者更具表達(dá)力的視覺(jué)Transformer（ViT）結(jié)構(gòu)。環(huán)境理解模塊則通過(guò)時(shí)序建模（如時(shí)序卷積、循環(huán)神經(jīng)網(wǎng)絡(luò)或時(shí)序自注意力機(jī)制）整合連續(xù)幀信息，識(shí)別車輛周圍的動(dòng)態(tài)物體、道路結(jié)構(gòu)以及交通信號(hào)。在此基礎(chǔ)上，決策預(yù)測(cè)層會(huì)生成針對(duì)如車輛加速減速趨勢(shì)、換道意圖或轉(zhuǎn)向方向等不同駕駛情景的意圖預(yù)測(cè)。控制生成器則將這些高層意圖映射為連續(xù)的轉(zhuǎn)向和油門—?jiǎng)x車控制信號(hào)。整個(gè)網(wǎng)絡(luò)從頭到尾聯(lián)動(dòng)訓(xùn)練，損失函數(shù)通常包含“模仿學(xué)習(xí)”中的軌跡誤差（與人類駕駛員軌跡的均方誤差）、舒適度正則化（鼓勵(lì)平滑的加速和轉(zhuǎn)向）以及安全約束（例如與前車距離或道路邊界的最小安全距離）等。相比之下，模塊化架構(gòu)中，感知、定位、規(guī)劃、控制各自優(yōu)化各自的目標(biāo)，而端到端網(wǎng)絡(luò)則將所有目標(biāo)統(tǒng)一到一個(gè)綜合損失函數(shù)中，實(shí)現(xiàn)整體最優(yōu)。
訓(xùn)練策略對(duì)于一段式端到端系統(tǒng)至關(guān)重要。最常見(jiàn)的方法是聯(lián)合模仿學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的混合訓(xùn)練。在純模仿學(xué)習(xí)階段，網(wǎng)絡(luò)通過(guò)海量人類駕駛數(shù)據(jù)進(jìn)行監(jiān)督訓(xùn)練，讓模型學(xué)習(xí)“人類駕駛員在各種場(chǎng)景下如何操作方向盤和油門剎車”。由于純模仿學(xué)習(xí)無(wú)法覆蓋所有潛在的長(zhǎng)尾場(chǎng)景，因此加入強(qiáng)化學(xué)習(xí)環(huán)節(jié)——在高保真模擬器中，網(wǎng)絡(luò)不斷與虛擬世界交互，根據(jù)安全性、效率、舒適度等設(shè)計(jì)好的獎(jiǎng)勵(lì)函數(shù)進(jìn)行策略迭代。強(qiáng)化學(xué)習(xí)可以讓模型探索邊緣場(chǎng)景下的最優(yōu)控制策略，并借此增強(qiáng)模型的魯棒性。此外，為了提升模型在新環(huán)境下的泛化能力，常會(huì)采用領(lǐng)域自適應(yīng)技術(shù)（domain adaptation），如基于對(duì)抗網(wǎng)絡(luò)的特征對(duì)齊或者自監(jiān)督重建任務(wù)，使模擬器和真實(shí)世界的數(shù)據(jù)分布差距最小化。通過(guò)這樣聯(lián)合訓(xùn)練的方式，端到端系統(tǒng)能夠最大限度地利用各種來(lái)源的數(shù)據(jù)，并在復(fù)雜多變的道路環(huán)境中保持穩(wěn)定的決策性能。
一段式端到端的優(yōu)勢(shì)
多模態(tài)傳感器融合是端到端架構(gòu)的一大亮點(diǎn)。在傳統(tǒng)方案中，不同傳感器數(shù)據(jù)往往分別由感知模塊處理，然后再通過(guò)復(fù)雜的策略融合各自輸出；而在一段式端到端模型中，所有傳感器原始數(shù)據(jù)可以被同步輸入到同一個(gè)深度網(wǎng)絡(luò)中，通過(guò)網(wǎng)絡(luò)內(nèi)部自動(dòng)學(xué)習(xí)各模態(tài)的相對(duì)重要性和融合策略。如在感知編碼器的最初幾層，可以并行提取攝像頭圖像的空間紋理特征和點(diǎn)云的幾何信息，然后在更深層逐步融合。自注意力機(jī)制（Transformer Attention）在此發(fā)揮關(guān)鍵作用，它能夠根據(jù)上下文動(dòng)態(tài)地調(diào)整各傳感器特征的權(quán)重分配，對(duì)光照不良或惡劣天氣環(huán)境下鏡頭受限的情況進(jìn)行補(bǔ)償，使雷達(dá)或激光雷達(dá)提供的遠(yuǎn)距探測(cè)補(bǔ)充視覺(jué)盲區(qū)。
實(shí)時(shí)推理與車規(guī)級(jí)硬件優(yōu)化也是端到端技術(shù)的一大優(yōu)勢(shì)所在。由于整個(gè)決策流程只需一次網(wǎng)絡(luò)前向傳播，即可生成連續(xù)的車輛控制指令，與傳統(tǒng)架構(gòu)中多次跨模塊數(shù)據(jù)傳遞和接口轉(zhuǎn)化相比，推理延遲大大降低。再結(jié)合模型壓縮與加速技術(shù)，例如剪枝（pruning）、量化（quantization）以及張量融合（operator fusion）等，可以將網(wǎng)絡(luò)規(guī)模縮減至適合車載AI芯片（如NVIDIA DRIVE Orin、Tesla FSD Computer、Mobileye EyeQ）運(yùn)算資源的程度。端到端網(wǎng)絡(luò)通常采用如深度可分離卷積（Depthwise Separable Convolution）或線性注意力機(jī)制等輕量化設(shè)計(jì)，以進(jìn)一步降低計(jì)算和內(nèi)存消耗。在應(yīng)用中，經(jīng)過(guò)離線訓(xùn)練和部署優(yōu)化的端到端模型能在車規(guī)級(jí)NPU上實(shí)現(xiàn)單幀推理時(shí)間低于20毫秒，滿足50Hz以上的控制回路頻率需求，確保車輛在高速行駛或緊急轉(zhuǎn)向時(shí)的及時(shí)響應(yīng)。
從系統(tǒng)安全性與可解釋性的角度來(lái)看，端到端模型面臨更多挑戰(zhàn)，但也有獨(dú)特的應(yīng)對(duì)策略。由于黑盒特性，一旦出現(xiàn)異常行為，定位問(wèn)題的難度會(huì)增大。為此，有技術(shù)提出了多種可解釋性技術(shù)，例如通過(guò)梯度加權(quán)類激活映射（Grad-CAM）或輸入敏感性分析，來(lái)可視化網(wǎng)絡(luò)在做出某個(gè)決策時(shí)關(guān)注的圖像區(qū)域；再結(jié)合模型不確定性估計(jì)（如蒙特卡洛Dropout或深度高斯過(guò)程），量化輸出控制指令的置信度；此外，還可以在決策過(guò)程中引入安全保障層（safety envelope）：在網(wǎng)絡(luò)輸出與車輛實(shí)際系統(tǒng)之間，加設(shè)一個(gè)獨(dú)立運(yùn)行的規(guī)則檢查模塊，當(dāng)網(wǎng)絡(luò)輸出的控制超出安全邊界時(shí)，即刻進(jìn)行限界或急停處置。通過(guò)這些技術(shù)綜合運(yùn)用，端到端系統(tǒng)既能發(fā)揮大模型的優(yōu)勢(shì)，又能最大程度地保證行車安全。
端到端系統(tǒng)的仿真驗(yàn)證與測(cè)試流程也與傳統(tǒng)架構(gòu)不同。傳統(tǒng)架構(gòu)下，測(cè)試團(tuán)隊(duì)需要針對(duì)每個(gè)模塊設(shè)計(jì)獨(dú)立的單元測(cè)試、集成測(cè)試和系統(tǒng)測(cè)試；而端到端模型則需要圍繞“輸入—輸出閉環(huán)”整體進(jìn)行驗(yàn)證。如在高保真模擬平臺(tái)中，可以并行化運(yùn)行上千條虛擬道路場(chǎng)景，通過(guò)分布式訓(xùn)練集群進(jìn)行大規(guī)模自動(dòng)化測(cè)試，讓模型在各種氣象、光照、交通密度下進(jìn)行重復(fù)演練，并收集關(guān)鍵性能指標(biāo)（KPIs）如碰撞率、紅燈闖越率、軌跡偏差等。在真實(shí)道路測(cè)試中，端到端模型還支持在線學(xué)習(xí)與安全策略微調(diào)，當(dāng)實(shí)車測(cè)試中發(fā)現(xiàn)偏離人類駕駛員行為的異常模式，可以將這一小部分場(chǎng)景數(shù)據(jù)回傳到訓(xùn)練平臺(tái)，進(jìn)行針對(duì)性再訓(xùn)練或在線微調(diào)，迅速修復(fù)問(wèn)題。這種閉環(huán)的仿真—道路—仿真循環(huán)，大大縮短了從算法迭代到量產(chǎn)落地的周期。
從研發(fā)協(xié)同與迭代效率來(lái)看，端到端模式也大幅簡(jiǎn)化了團(tuán)隊(duì)協(xié)作。在傳統(tǒng)流水線式項(xiàng)目中，感知、定位、規(guī)劃、控制等團(tuán)隊(duì)需要對(duì)接繁復(fù)的接口文檔，耗費(fèi)大量時(shí)間進(jìn)行版本兼容和聯(lián)調(diào)；而在端到端項(xiàng)目中，研發(fā)團(tuán)隊(duì)只需專注于一個(gè)統(tǒng)一的模型接口，即輸入原始傳感器數(shù)據(jù)，輸出車輛底層控制信號(hào)，所有中間功能都隱含在網(wǎng)絡(luò)內(nèi)部。版本管理也因此更為集中，只要模型結(jié)構(gòu)或訓(xùn)練流程發(fā)生變化，就更新一份模型和相關(guān)訓(xùn)練腳本即可。隨著模型庫(kù)化和AutoML技術(shù)的引入，團(tuán)隊(duì)還可以通過(guò)超參數(shù)搜索或網(wǎng)絡(luò)架構(gòu)搜索（NAS）等手段，自動(dòng)化地探索最優(yōu)模型配置，進(jìn)一步提升端到端項(xiàng)目的研發(fā)效率。
在數(shù)據(jù)管理與標(biāo)注成本方面，端到端方法同樣具有優(yōu)勢(shì)。傳統(tǒng)方案往往需要為感知模塊準(zhǔn)備大規(guī)模圖像分割、物體檢測(cè)標(biāo)注，為定位模塊準(zhǔn)備高清地圖和標(biāo)定數(shù)據(jù)，為規(guī)劃模塊準(zhǔn)備道路拓?fù)渑c交通規(guī)則，這些多樣化標(biāo)注體系不僅成本高昂，還容易導(dǎo)致不同數(shù)據(jù)集風(fēng)格不一致。端到端系統(tǒng)只需采集“端到端行為”標(biāo)注，即車輛在給定傳感器輸入序列下應(yīng)執(zhí)行的參考控制指令。雖然這種標(biāo)注同樣要求高質(zhì)量，但它可以通過(guò)使用車輛已有的自動(dòng)記錄系統(tǒng)（如車載CAN總線數(shù)據(jù)）自動(dòng)采集，大幅降低人工標(biāo)注成本。同時(shí)，隨著自監(jiān)督和弱監(jiān)督學(xué)習(xí)技術(shù)的發(fā)展，越來(lái)越多研究嘗試?yán)脽o(wú)標(biāo)簽數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，或者通過(guò)對(duì)比學(xué)習(xí)（contrastive learning）增強(qiáng)模型的特征理解能力，進(jìn)一步減少對(duì)大規(guī)模人工標(biāo)注數(shù)據(jù)的依賴。
未來(lái)，一段式端到端架構(gòu)將與更多前沿技術(shù)深度融合。在多智能體協(xié)同駕駛場(chǎng)景下，端到端模型可以擴(kuò)展為多agent輸入—輸出架構(gòu)，通過(guò)圖神經(jīng)網(wǎng)絡(luò)（GNN）動(dòng)態(tài)建模周邊車輛意圖，生成更為協(xié)調(diào)的集體駕駛策略；此外，隨著5G與蜂窩車聯(lián)網(wǎng)（C-V2X）的普及，端到端模型將能夠?qū)⒌缆坊A(chǔ)設(shè)施（如信號(hào)燈數(shù)據(jù)、路側(cè)單元信息）與車載傳感器數(shù)據(jù)一并輸入網(wǎng)絡(luò)，實(shí)現(xiàn)端—邊—云協(xié)同智能；聯(lián)邦學(xué)習(xí)（federated learning）技術(shù)的引入，也將使不同廠商或車隊(duì)的端到端模型在保護(hù)數(shù)據(jù)隱私的前提下，共享道路學(xué)習(xí)成果，加速整個(gè)行業(yè)的智能駕駛進(jìn)步。
最后的話
一段式端到端技術(shù)通過(guò)統(tǒng)一的網(wǎng)絡(luò)架構(gòu)、整體級(jí)的損失優(yōu)化、多模態(tài)自適應(yīng)融合、低延遲實(shí)時(shí)推理、安全可解釋保障以及高效的仿真—測(cè)試閉環(huán)，實(shí)現(xiàn)了從感知到控制的全流程創(chuàng)新。它不僅在系統(tǒng)性能、魯棒性和維護(hù)成本上優(yōu)于傳統(tǒng)模塊化方案，而且為自動(dòng)駕駛研發(fā)流程帶來(lái)革命性變革。隨著大規(guī)模訓(xùn)練算力的普及、自動(dòng)化標(biāo)注與自監(jiān)督技術(shù)的成熟，以及更完善的安全與可解釋性框架的建立，端到端技術(shù)必將在自動(dòng)駕駛的商業(yè)化落地中扮演核心角色，為實(shí)現(xiàn)真正安全、智能、持續(xù)演進(jìn)的無(wú)人駕駛奠定堅(jiān)實(shí)基礎(chǔ)。
-- END --
