算法端，蔚來目前采用分段式端到端，感知規劃全棧網絡模型為?NOP+提供了強大的通用泛化能力；同時能夠進行想象重建與想象推演的世界模型有望在2024Q4?進行車端部署。數據閉環方面，蔚來的群體智能配合生成式仿真能夠滿足世界模型訓練的數據需求，還能夠輔助快速驗證推動迭代。云端算力方面，截至?2023?年?9?月，蔚來智能計算集群總算力規模為?1.4EFlops，預計目前算力規模更高，而截至?2024?年?7?月蔚來基于群體智能的整體端云算力已超過?306.9EOPS。蔚來在硬件架構與軟件架構上進行長期主義布局，統一架構延長車輛的生命力，支持車輛的長生命周期迭代。蔚來?NOP+用戶數量持續擴大，使用里程也在快速增長，反映出蔚來用戶對其自動駕駛的認可程度不斷提高。
NOP+全量推送，2024H2?上車點到點領航輔助?2.0開路不開城，蔚來以道路為單位推進自動駕駛落地。2020?年?10?月，蔚來全量交付高速?NOP，面向搭載?Mobileye EyeQ4?芯片的?NT 1.0?平臺車型。相對部分自研的?NOP，基于?NT2.0?平臺的?NOP+是蔚來全棧自研，并于?2022?年底開啟推送，但此時只有高速功能。在城市領航輔助功能上，與其他車企擴展覆蓋度的“開城”方式不同，蔚來專注于對特定路段進行深度優化和精確覆蓋，確保其智能駕駛系統在多變的道路條件下也能提供穩定可靠的服務，按照用戶心愿單以及道路開放全國的?NOP+。2023年?6?月，蔚來車隊在城區開啟路線驗證，10?月在城區開啟應用“群體智能系統”。在2024?年?4?月，蔚來?NOP+在城市區域的領航輔助向所有?NT2.0?車型用戶開放，累計覆蓋?726?城，標準是以?90%主干道為最低標準釋放。2024?年下半年，蔚來計劃推送點到點的全域領航?2.0，實現點到點的體驗，并計劃再用一年的時間，解決智駕全國好用的問題，將城區體驗提高到目前高速領航的水平。
NOP+用戶數量持續擴大，蔚來自動駕駛的用戶認可程度正不斷提高。2024?年?3?月的城區道路可用總里程為72.6萬公里，當月城區智能駕駛的行駛里程僅有42萬公里，而這兩個數據在?2024?年?7?月分別上漲到了?353.9?萬公里與?336?萬公里，一方面是NOP+可用范圍的擴大，另一方面是用戶對?NOP+的接受度不斷提高，開始讓?NOP+在城市中行駛更多里程。蔚來自動駕駛的用戶認可度也在不斷增長，截至?2024?年?7月，NOP+的訂閱用戶數量達到了?30.80?萬人，4?個月中增長超?50%，隨訂閱用戶數的增長，NOP+的商業閉環正逐步打通。
由模塊化自動駕駛到端到端，蔚來將其劃分為三個階段。（1）第一階段是模型化，模型化的優點在于實現數據驅動，但是對工程化的能力要求較高，要求能夠快速訓練與快速驗證。蔚來在?2023?年中將規控模塊中加入AI?神經網絡實現模型化，而當前階段大部分玩家僅做到感知模型化，在規控端還沒有做到模型化。（2）第二階段是端到端，將感知與規控模型連接，不用定義數據結構，解決數據丟失的問題。端到端下對于數據驗證體系的要求將更高。蔚來首先將端到端技術應用在主動安全功能，如?Banyan 2.6.5?版本中上車的端到端?AEB，以及?2024?下半年將要上車的端到端?GOA。（3）第三階段是大模型，在蔚來的定義中，大模型為世界模型，蔚來期望世界模型能夠對真實世界進行更全、更好的信息表達和預測。蔚來在?2023?年底開始訓練世界模型，預計?2024Q4?會開始推進量產工作。2.2、 當前蔚來感知規劃全棧網絡模型為?NOP+提供了強大的通用泛化能力當前蔚來在自動駕駛算法中的感知和規控環節都采用了神經網絡賦能。（1）在感知端，采用融合化的感知網絡，占用網絡?2.0?通過一個網絡識別動靜態物體，并采用可變分辨率的架構解決遠近物體識別的問題，同時在云端訓練一個大模型進行無監督的訓練，輔助車端模型進行感知。（2）在規控端，引入了數據驅動的分層價值網絡，通過分層搜索的形式，找到最優解。具體而言，通過多模態的注意力網絡從感知數據中篩選出?10-100?種未來的可能性，之后將這些可能性進行更進一步的推演，通過交互搜索的樹，做?7?秒鐘的推演，通過經人類偏好數據訓練的博弈價值網絡來進行推演，在具體的行為規劃和控制過程，采用獎勵函數網絡給出一個最舒適、擬人化的結果。最后將結果送入凸優化的空間進行兜底，保證輸出的結果安全。感知端和規控端一起串聯形成的蔚來感知規劃全棧網絡模型構成了通用泛化的基石。
蔚來規劃部分基于三層的數據驅動的網絡
2.3、 世界模型能夠進行想象重建與想象推演，將推動通用能力快速提升端到端架構能夠充分利用數據，加速迭代，但距離人仍有差距。端到端有兩個優點：（1）從人工寫規則變成了模型，依靠模型和數據去做迭代就能充分地利用數據；（2）能自動地抽取信息，減少了很多信息損失，使得對于數據的利用更加充分。但僅依賴單一端到端的模型的話，時間維度信息的融合和推演都是定長的邏輯，自動建模長時序信息的能力相對匱乏，不能夠預測未來事件并評估其影響，也就是無法真正理解時空變化，這樣的端到端永遠無法達到人駕一般舒適、安全與效率。
世界模型能夠進行空間理解與時間理解，想象重建、推演能力強大。NIO IN 2024?蔚來創新科技日上，蔚來正式發布中國首個智能駕駛世界模型?NWM（NIO WorldModel），即可以全量理解信息、生成新的場景、預測未來可能發生的多元自回歸生成模型。相比于常規的端到端的模型，新的世界模型有三個主要的優勢：（1）空間理解上，通過生成式模型重構傳感器輸入方式，更加泛化地抽取信息，能夠全量理解信息，對空間理解更加深入。（2）時間理解上，通過自回歸模型，自動建模長時序環境，能夠預測接下來的場景。（3）通過生成式無監督的方式，無需人工標注，對海量數據的利用更加高效。
世界模型能夠進行空間理解與時間理解
想象重建能力：從原理上講，世界模型能夠輸入一個真實世界的行車視頻，輸出另外一個更平行的世界，相當于對整體世界做再一次的重構，變成類似于真實駕駛環境的原始信息，減少信息的損失，算法的空間理解能力加強，而這一定程度上意味著它具備了解決這些場景中駕駛問題的能力。從算法端講，它是自監督的過程，不太需要數據標注，可以高效地做到千萬?Clips?的數據量的訓練；同時因為重建的視頻，任務更困難，監督信息更多，使得模型收斂速度更快。
重建的視頻模型收斂速度更快
想象推演能力：從原理端講，世界模型能夠持續地去想象推演，持續地以自回歸的方式去輸出視頻，“想象”時間維度上的變化，在功能方面，具體來說，NWM?可以在?0.1?秒內，推演?216?種可能發生的軌跡、尋找最優路徑，下一個?0.1?秒，NWM?會根據外界信息輸入去再生成新的?216?種可能性，繼續往前開；還能基于?3?秒鐘視頻的?Prompt?輸入，生成?120?秒想象的視頻。蔚來計劃將世界模型進行車端部署，將其結果作為預測參考輸入下游規劃模型，在未來有望直接輸出軌跡去控制車輛。2.4、 群體智能助力數據閉環搭建，生成式仿真進行快速閉環測試通過群體智能與生成式仿真能夠滿足世界模型訓練的數據需求。世界模型作為多元自回歸生成模型，具有龐大的數據需求，特別是對長尾數據和閉環數據的需求更多，訓練一個世界模型，需要千萬級?Clips?以上的真實數據訓練。蔚來基于群體智能和生成式仿真為核心來滿足更大的數據需求。通過群體智能系統，挖掘日行千萬公里的真實場景可成為正負樣本的訓練數據，篩選重點場景后驗生成式仿真，進行三維重建，最終產生更多新場景，加速模型的快速訓練迭代。
群體智能和生成式仿真可以滿足整體的世界模型的數據需求
群體智能：在數據收集方面，蔚來通過量產車隊收集數據，目前?NT2.0?平臺的車型總數在?20?多萬臺，同時在車端的四顆?Orin-X?中，有一顆專門留給群體智能訓練，能夠篩選掉?99%無用數據并經過復雜自動化流程處理后回傳云端，使車輛不光在智駕狀態下，在非智駕狀態下也能獲取到有效數據。群體智能每月能夠獲取?500?萬+接管數據，共分析?4785?萬接管案例，捕捉的高價值?Clips?超過?1000?萬。在道路驗證方面，蔚來群體智能架構，能夠在量產車上分布式驗證用戶行駛過的道路以及使用過的智能駕駛功能，每月實車驗證里程超?2000?萬公里，單一路線?5?次驗證自動準出，加速實現智能駕駛系統升級迭代，保證智能駕駛用戶體驗持續進化。
生成式仿真：與?NWM?配套，蔚來開發了仿真器?NSim（NIO Simulation），在整個數據鏈路上，車端的群體智能+NSim?理論上可以給?NWM?提供源源不斷的數據。NWM基于真實世界視頻進行重構和推演，進入到?NSim?重新編輯，分解出背景中靜態的、動態的信息，在?NSim?中也可以看到并且調整深度、法向量的信息。通過?NSim?可以切換到任意角度，分析環境細節信息，可以根據所需去動態地編輯物體，也可以讓自車有新的行車軌跡駕駛。NSim?可以對?NWM?推演的每一種軌跡與對應的仿真結果做對比，給到更多數據給到?NWM?訓練，讓輸出的智駕軌跡和體驗更安全更合理，更高效。
在訓練方面，蔚來認為，如果想要做端到端大模型，至少需要萬卡級別的算力集群，截至?2023?年?9?月，蔚來智能計算集群總算力規模為?1.4EFlops，預計目前算力規模更高。蔚來還建立一套高性能計算平臺，可支撐日間峰值吞吐達到?200?萬次的任務請求，并且同時支持?1.5?萬個節點的并發，自研容量?10PB?的高速分布式緩存系統，支持大規模并行的訓練。此外，蔚來也已打通邊緣計算能力，使得整個車云算力聯合調度，截至?2024?年?7?月，蔚來整體端云算力高達?306.9EOPS，是全國最大的端云算力集群，分布式計算也是蔚來算力布局的重要構成。
3.1、 自研神璣?NX9031?即將上車，傳感、計算硬件支撐智駕長期主義神璣?NX9031?已流片，深度軟硬一體有望大幅提升用戶體驗。2020?年開始，蔚來逐步組建了超800人芯片團隊，負責人華為海思出身。自研智能駕駛芯片“神璣NX9031”已經流片，制程為?5?納米，擁有超過?500?億顆晶體管，該芯片采用?32?核大小核?CPU架構，采用?LPDDR 5x?內存，速率達到了?8533Mbps，內置高動態范圍高性能?ISP，具備?6.5G Pixel/s?像素處理能力，處理延時少于?5nm，單芯片性能相當于四顆行業旗艦芯片的能力。神璣?NX9031?將于?2025Q1?首搭?ET9，實現了硬件與軟件、算力與算法的緊密融合，有能力支持蔚來智能電動汽車進一步提升用戶體驗。
蔚來自動駕駛面向未來，軟硬件支持長生命周期迭代。汽車智能化進展飛速，產品的生命周期在縮短，產品生命力也逐漸成為影響消費者的購車選擇的因素之一。在智能駕駛方面，蔚來認為其軟件層面架構的生命周期應達到?10?年以上，硬件層面應能夠堅持兩代平臺，而現在每代平臺的間隔期約?3-4?年。蔚來在軟件層面統一架構，做到軟件部分有?85%的模塊級復用度，在硬件層面采用高性能傳感器與計算平臺，軟硬結合之下，蔚來車型生命力得以延長，支撐蔚來的“長期主義”布局。Aquila?蔚來超感系統配置豐富，ADAM?計算平臺算力出眾，能夠支撐自動駕駛的后續更新。（1）Aquila?蔚來超感系統：擁有?33?個高性能感知硬件，包括?1?個等效?300線的?1550nm?激光雷達、7?顆?800?萬像素高清攝像頭、4?顆?300?萬像素高感光環視專用攝像頭、1?個增強主駕感知、5?個毫米波雷達、12?個超聲波傳感器、2?個高精度定位單元和?V2X?車路協同。（2）ADAM?計算平臺：ADAM?集成了?4?顆英偉達?Orin X智能駕駛芯片，總算力達?1016TOPS，是目前汽車智能駕駛算力的天花板；同時?ADAM還集成?1?顆最新的高通驍龍?8295?智能座艙芯片，能夠實現智駕、智艙和整車控制最大?256TOPS?算力共享，且智駕和座艙之間跨域數據帶寬從千兆大幅提升到?16Gbps，能夠支撐多模大模型的端側部署。NT2.0?平臺車型都已搭配四課?Orin-X?的?ADAM?平臺，在未來的?NT3.0?平臺，會有神璣?NX9031?與英偉達?Orin-X?兩種芯片配置，在算法快速演進的智能駕駛潮流中提供牢固的硬件平臺基礎。
ADAM?計算平臺集成?4?顆?Orin-X
支持實現智駕、智艙最大?256TOPS?算力共享
3.2、?NADArch?升級?2.0，統一架構延長生命力蔚來自動駕駛架構升級。NADArch?進化。世界模型?NWM，包括端到端的主動安全模型，以及相應的處理機制和安全機制，以上構成了蔚來算法的第二代架構?NADArch2.0，具體功能收斂到兩個產品：點到點的全域領航?2.0?與智能安全輔助?2.0。蔚來堅持?NT2.0?平臺車型統一架構，統一架構最直觀的優點是降低了后續的維護、運營、迭代的成本，同時能夠大大延長架構的壽命。統一的架構下能夠提高復用程度，如樂道品牌與蔚來的軟硬件同架構，底層架構相通，可以數據共享。
3.3、 重組智駕研發團隊，組織架構上面向端到端大模型蔚來自動駕駛業務主要分為三大團隊。目前蔚來智駕團隊約有?1500?人，自動駕駛業務共有四個團隊，分別為算法團隊、硬件團隊、操作系統和數據安全團隊，其中算法團隊由蔚來智能駕駛研發副總裁任少卿負責，下設感知部、規劃與控制部、環境信息部、方案交付部、地圖定位部等多個部門。蔚來智駕研發部完成架構調整。2024?年?6?月，蔚來智駕研發部新成立了大模型部（負責端到端模型的研發工作）、部署架構與方案部（負責和車端相關的整體算法研發、架構設計和功能交付）、時空信息部（負責車端和云端的地圖信息相關的算法、模型開發及服務），撤銷了原來的感知部、規劃與控制部、環境信息部及方案交付部。從組織架構上面向端到端，或將加速蔚來自動駕駛迭代。調整前，蔚來智駕研發部按照感知、地圖、數據、規控等模塊進行分部門管理，再以項目為核心串聯起各個垂直的算法部門進行交付，算法模塊部門是實體組織，項目則是橫向的虛線組織。架構調整后，蔚來智駕的核心業務變成了兩塊，一塊是云，一塊是車，分別由“大模型部”、“部署架構與方案部”負責，前者負責創造出一個本身更好的基礎模型，去支持未來車端的迭代，后者負責車端自動駕駛的產品化與交付，工作流程上則以項目為中心組合各方，將橫向組織縱向化。新架構下，將有效減少內部溝通阻力與資源損耗，集中力量實現自動駕駛的高效迭代。-- END --
聲明：內容源自智駕社，文中觀點僅供分享交流，不代表本公眾號立場，如涉及版權等問題，請您告知，將及時處理！
