Ashok 沒講的，特斯拉工程負(fù)責(zé)人Phil講了：FSD 算法結(jié)構(gòu)、代理任務(wù)與 30 萬卡

原創(chuàng) Vehicle 2026-08-07 06:30

30+硬核演講，洞見EDA與CAE前沿｜KDES上海 AI重塑EDA設(shè)計(jì)流程｜2026芯片研發(fā)效率革命，來這里找答案…

看過我們之前文章《特斯拉 CVPR 2026 演講全文和詳解：把自動(dòng)駕駛，做成「所有機(jī)器人的基礎(chǔ)模型」》的老粉，能從全貌上明白特斯拉FSD的總體邏輯。

但是，特斯拉FSD算法到底是怎么樣的結(jié)構(gòu)？FSD端到端到底怎么擺脫黑盒？怎么可解釋？怎么可推理？特斯拉到底怎么看VLA的？特斯拉到底用了和需要多少算力來訓(xùn)練其模型？Ashok Elluswamy 在那個(gè)演講中都沒有透露。

不過，Vehicle 從 CVPR 2026 DriveX Workshop 里面找到了他們工程負(fù)責(zé)人Phil Duan (Tesla)名為Self-Driving at Scale with Foundation Models的演講。這個(gè)演講中我們找到以上問題的答案，Phil Duan畢竟是工程負(fù)責(zé)人，人家開發(fā)落地的，Ashok Elluswamy 估計(jì)領(lǐng)導(dǎo)當(dāng)久了，宏觀信息多點(diǎn)。

所以，本文對(duì)Phil Duan (Tesla)名為Self-Driving at Scale with Foundation Models的演講結(jié)合其PPT給大家分享和科普以上答案。

端到端：一個(gè)函數(shù)

Phil Duan在演講首先講了一大堆FSD安全以及為什么規(guī)則模塊化算法行不通等等背景，Vehicle老粉們都熟悉了，這里就不分享了，新粉可以看看之前文章。

整場(chǎng)演講的核心公式，也是特斯拉從馬斯克到Ashok整體的算法敘事故事：

特斯拉把自動(dòng)駕駛從"一堆工程模塊的拼裝"，重寫成了"一個(gè)視頻基礎(chǔ)模型的下一步動(dòng)作預(yù)測(cè)問題"——和訓(xùn)練 GPT 是同一套方法論，只是把"下一個(gè)詞"換成了"下一個(gè)方向盤和油門剎車"。

它和 LLM 的對(duì)應(yīng)關(guān)系非常直白：輸入進(jìn)輸出出端到端。

不過和LLM不同的是，現(xiàn)實(shí)世界的物理AI 閉環(huán)才是關(guān)鍵

不過，物理AI 模型不是"預(yù)測(cè)一次就完事"，而是以極高幀率不斷地"看、動(dòng)、世界變了、再看"。此外，真實(shí)世界比文本世界殘酷得多，復(fù)雜度更高，還需要有考慮延時(shí)。

兩大問題：算法黑盒和欺騙

一，維度詛咒（嚴(yán)重欠約束）

輸入側(cè)：大到離譜，8 路攝像頭 × 36 Hz × 高分辨率。如果按標(biāo)準(zhǔn)做法（圖片切 patch圖像區(qū)域小塊，然后tokenize），token 數(shù)是 "billions of billions"

Phil Duan在演講中給了一個(gè)更好理解的參照：哪怕只取很短的一段視頻，token 數(shù)也是"CLIP （對(duì)比語言-圖像預(yù)訓(xùn)練）處理一張 224×224×3 圖片"的 2000 倍以上

科普插入：CLIP 處理 224×224 圖片時(shí)，按 16×16 切 patch 得到 196 個(gè) token。乘以 2000 倍就是約 40 萬 token。這還只是"短短一段"。而完整的駕駛上下文遠(yuǎn)不止如此。這就是為什么演講說"必須發(fā)明極其復(fù)雜的方法把輸入壓縮到可管理的上下文長度"——視頻 tokenizer / 時(shí)空壓縮本身就是特斯拉的核心技術(shù)資產(chǎn)之一。

輸出側(cè)：小到離譜只有 2 個(gè)自由度：轉(zhuǎn)向角 + 加減速度。

豐富的數(shù)據(jù)，你要推導(dǎo)出僅僅兩個(gè)維度的運(yùn)動(dòng)，再到不讓兩者相撞，這簡(jiǎn)直是Massively underconstrained（嚴(yán)重欠約束）。

Phil Duan在演講的PPT 底部放了四張圖作為舉例：夜間高速、雪地、濃霧、白天多車道，這四個(gè)圖片在視覺上天差地別的世界，但是AI給出的標(biāo)簽是一模一樣：< drive straight >前行。

這對(duì)算法來講是災(zāi)難，用監(jiān)督學(xué)習(xí)的語言說：你的輸入熵極高，輸出熵極低。

模型的梯度只能通過"2 個(gè)數(shù)字的誤差"回傳給一個(gè)要理解整個(gè)世界的巨大編碼器。這個(gè)時(shí)候模型可能會(huì)發(fā)現(xiàn)一條捷徑（shortcut）："管它看到什么，我直行就好，大部分時(shí)候都對(duì)。"這就是典型的 shortcut learning / 捷徑學(xué)習(xí)，模型達(dá)成了低 loss，卻什么都沒學(xué)會(huì)。

二，因果的相關(guān)（剔除偽相關(guān)）

Phil Duan在演講中展示了一個(gè)路口畫面的圖片：人類只看"左轉(zhuǎn)綠箭頭"，但神經(jīng)網(wǎng)絡(luò)看到的是一大堆指示牌、背景里一堆綠燈、甚至遠(yuǎn)處還有"禁止駛?cè)?標(biāo)志。

在只有 2 個(gè)輸出數(shù)字的監(jiān)督信號(hào)下，模型憑什么知道"該看左轉(zhuǎn)箭頭，不該看背景那顆綠燈"？它完全可能學(xué)到"背景有綠色，那就可以走"這種偽相關(guān)的捷徑。而這種偽相關(guān)在 99% 的情況下不會(huì)出錯(cuò)，只會(huì)在那個(gè)致命的 1%里要命。

怎么知道環(huán)境的輸入和運(yùn)動(dòng)控制的因果？

針對(duì)這種物理AI的復(fù)雜度問題，特斯拉算法如何破解呢？

特斯拉算法核心解法：代理任務(wù)共訓(xùn)練（Multi-task Co-training）

這可能是大家最不了解特斯拉算法的一部分，大家PR文章看多了，一直理解FSD端到端里面為一個(gè)無法解釋的大模型。

其實(shí)這是特斯拉方案里最"反直覺但最關(guān)鍵"的一步，他們并沒有扔掉模塊化時(shí)代的遺產(chǎn)，而是把它們降級(jí)成了訓(xùn)練時(shí)的輔助信號(hào)。

Phil Duan在演講的PPT中一共列了 16 類代理任務(wù)：3D 幾何、2D/3D 目標(biāo)檢測(cè)、目標(biāo)跟蹤、語義分割、實(shí)例分割、稠密深度、場(chǎng)景流與光流、OCR 與標(biāo)志理解、圖像分類、場(chǎng)景理解、視覺問答、定位與建圖、未來幀預(yù)測(cè)、圖像重建（+ 架構(gòu)圖里的全景分割、3D 占用、人體網(wǎng)格、關(guān)鍵點(diǎn)跟蹤、文字識(shí)別）。

記住這些算法名詞，關(guān)注Vehicle后續(xù)有空科普，這些輔助信號(hào)就構(gòu)成了特斯拉算法的三層理解：

幫助梯度流過網(wǎng)絡(luò)。 2 個(gè)數(shù)字的梯度太稀疏，撐不起一個(gè)巨大的視覺編碼器。但"這個(gè)像素屬于哪個(gè)物體""這個(gè)點(diǎn)離你多遠(yuǎn)""這個(gè)牌子寫了什么"，這些任務(wù)提供的是每像素、每幀的稠密監(jiān)督信號(hào)，梯度量級(jí)高出好幾個(gè)數(shù)量級(jí)。
強(qiáng)迫模型形成正確的表征。如果編碼器的特征必須同時(shí)支持"預(yù)測(cè) 3D 占用"和"識(shí)別標(biāo)志文字"，它就不可能只學(xué)到"畫面偏亮就直行"這種捷徑——因?yàn)槟欠N特征無法完成分割和 OCR 任務(wù)。代理任務(wù)是防止捷徑學(xué)習(xí)的正則化器。
這是把"因果"注入模型的方式。讓模型能讀出"左轉(zhuǎn)綠箭頭"（OCR + 標(biāo)志理解），它才有可能建立"綠箭頭，可以左轉(zhuǎn)"的正確因果，而不是"背景有綠色，走"。

更絕的是Phil Duan表示這些輔助信號(hào)的代理任務(wù)的指標(biāo)不是目標(biāo)。特斯拉不追求把每個(gè)代理任務(wù)的指標(biāo)都刷到最高，那未必讓最終模型更好。它們只需要"足夠健康（healthy enough）"。特斯拉唯一該衡量的，真正部署的那個(gè)任務(wù)：駕駛。

這種邏輯直接推翻了整個(gè)學(xué)術(shù)界自動(dòng)駕駛 benchmark 的評(píng)價(jià)邏輯（刷 nuScenes 檢測(cè) mAP、刷 occupancy mIoU）。在特斯拉的框架里，這些指標(biāo)是訓(xùn)練手段，不是產(chǎn)品目標(biāo)。

不過，當(dāng)前基本上國內(nèi)所有端到端的算法都在用這個(gè)方法論，差距只是誰用的好與不好，算法模塊是不是組合好，端到端訓(xùn)練是不是拉齊。

拆解了算法背后，那么接下來護(hù)城河是什么？

護(hù)城河：數(shù)據(jù)引擎

Phil Duan在演講中演示了特斯拉數(shù)據(jù)的指標(biāo)，目前特斯拉大概約 700 萬臺(tái)的車隊(duì)每日產(chǎn)生駕駛時(shí)長約 500 年，日常用的典型數(shù)據(jù)集>120 年駕駛時(shí)長、數(shù)百 PB，內(nèi)部 dashboard 峰值1.05 億個(gè)視頻片段 / 148 年時(shí)長，F(xiàn)SD 累計(jì)里程剛突破 100 億英里。

在特斯拉的數(shù)據(jù)集里面"邊緣案例"這個(gè)概念被規(guī)模消解了。行業(yè)里所有人都在談邊緣案例，都在建仿真器去合成罕見場(chǎng)景。但當(dāng)你有 700 萬臺(tái)車時(shí)，任何邊緣案例都是每天發(fā)生的日常。單個(gè)人類司機(jī)一輩子見不到的場(chǎng)景，特斯拉每天都在收。

在演講中Phil Duan表示，視頻數(shù)據(jù)，如果隨機(jī)采樣，會(huì)有 90% 是完全沒用，例如一個(gè)高速駕駛視頻。

所以，數(shù)據(jù)不是越多越好，而是需要多樣化。那么特斯拉如何從自己的數(shù)據(jù)大海里面撈出想要的數(shù)據(jù)？

特斯拉撈數(shù)據(jù)兩個(gè)準(zhǔn)則，一個(gè)是真正有意思的片段，也就是典型和稀少場(chǎng)景；另外一個(gè)是模型輸出與人類司機(jī)操作不一致的片段。

模型輸出與人類司機(jī)操作不一致的片段本質(zhì)是 disagreement mining / hard example mining。

他的邏輯是：模型和人開得一樣的地方，訓(xùn)練它沒有信息增益；只有"模型想這么開，但人類實(shí)際那么開"的地方，才攜帶模型尚未掌握的知識(shí)。

所以，特斯拉等于用整個(gè)車隊(duì)做了一個(gè)規(guī)模空前的主動(dòng)學(xué)習(xí)（active learning）循環(huán)，每一臺(tái)在路上跑 FSD 的客戶車，都在為下一版模型自動(dòng)標(biāo)注"我哪里還不行"。

很多人問，這些數(shù)據(jù)采回來，車上只有攝像頭，沒有激光雷達(dá)，那么我們常年需要的 3D 占用、3D 檢測(cè)的 Ground Truth 從哪來？

Phil Duan在演講中透露的答案是離線自動(dòng)標(biāo)注（auto-labeling），特斯拉用一套云端沒有算力約束的大模型對(duì)采集到的視頻跑推理，生成 3D 真值，再用來監(jiān)督車端模型。這就是特斯拉云端"教師模型（teacher model）教相機(jī)端模型"——知識(shí)蒸餾 + 離線重建，是純視覺方案能拿到 3D 監(jiān)督的關(guān)鍵工程。

這套理論如何泛化和移植到機(jī)器人？

如何泛化：互聯(lián)網(wǎng)數(shù)據(jù)與 Optimus 數(shù)據(jù)

Phil Duan在演講再次確認(rèn)了，特斯拉會(huì)利用互聯(lián)網(wǎng)上視頻等知識(shí)數(shù)據(jù)+自有數(shù)據(jù)+推理能力來支持泛化。

在演講中，Phil Duan舉了一個(gè)"高速上的椅子"這個(gè)例子完美說明了問題：高速公路上出現(xiàn)一把椅子，車輛必須避開，但你不可能等到車隊(duì)采集到足夠多"高速上的椅子"樣本才讓模型學(xué)會(huì)。

而任何互聯(lián)網(wǎng)視頻、或 Optimus 實(shí)驗(yàn)室的室內(nèi)數(shù)據(jù)里，椅子多得是模型只要知道什么是椅子，就能在高速上認(rèn)出它。

這里，在演講中有人提問了特斯拉對(duì)當(dāng)前VLA（不知道VLA可用點(diǎn)擊我們之前文章《一文看懂視覺語言動(dòng)作模型（VLA）及其應(yīng)用》）的看法。

Phil Duan回復(fù)"Language is means to an end."語言是一種（而非唯一）獲得世界知識(shí)和推理能力的載體。其核心思想："真正重要的不是語言，是物理世界的知識(shí) + 推理能力。"

如何保證安全：可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)

在本次演講問答中，Phil Duan分享了特斯拉的端到端模型有由模仿學(xué)習(xí)（Imitation Learning）和強(qiáng)化學(xué)習(xí)（RL）分別承擔(dān)從人類駕駛數(shù)據(jù)學(xué)"通常怎么開"和用可驗(yàn)證獎(jiǎng)勵(lì)學(xué)"什么絕對(duì)不能做"來做，從而防止事故發(fā)生。

"可驗(yàn)證獎(jiǎng)勵(lì)（verifiable reward）" 是當(dāng)下大模型后訓(xùn)練最熱的概念（RLVR，Reinforcement Learning from Verifiable Rewards）——之所以在數(shù)學(xué)、代碼上 RL 效果好，是因?yàn)榇鸢笇?duì)不對(duì)可以被程序自動(dòng)判定，不需要人類打分。 "有沒有撞到"恰好就是這樣一個(gè)完美的可驗(yàn)證信號(hào)：在仿真或回放中，碰撞是幾何上可判定的、無歧義的、可自動(dòng)計(jì)算的。所以它可以被無成本地大規(guī)模用作 RL 的獎(jiǎng)勵(lì)函數(shù)。這解釋了為什么 Phil 說"bake in 非常直接（very straightforward）"。

現(xiàn)在不少輔助駕駛/自動(dòng)駕駛公司在神經(jīng)網(wǎng)絡(luò)輸出之后，會(huì)掛一個(gè)規(guī)則化的安全監(jiān)控層（軌跡碰撞校驗(yàn)、多方案切換、fallback 到保守策略），這種"安全兜底層"后處理來確保模型輸出的安全。

Phil Duan在演講中回答是：特斯拉不做兜底這一層。"在測(cè)試/部署時(shí)，我們基本上就是依賴模型本身來做這件事。"

這在特斯拉的架構(gòu)上是自洽的，如果你在輸出端掛了一個(gè)規(guī)則兜底層，你就重新引入了"人類手寫規(guī)則"，重新回到了 bitter lesson 的錯(cuò)誤一側(cè)，而且破壞了"同構(gòu)算力 + 確定性延遲"的優(yōu)勢(shì)。

算力：30萬卡

有了算法和數(shù)據(jù)，那么接下來就是算力的問題了，這次演講Phil Duan

算是官方公布了特斯拉算力的發(fā)展和現(xiàn)狀。拿H100 等效來衡量Tesla AI 訓(xùn)練算力：

2021 中 – 2023 初接近于零
2023 下半年開始階梯式抬升
2024 年中約 90,000
2025 全年約 100,000 – 120,000
2026 年 3 月約 140,000
2026 年 6 月約 280,000（垂直躍升）

看來，特斯拉在 2026 年 Q2 算力卡直接翻倍，說明有一次大規(guī)模集群交付，加入AI時(shí)代的算力投資大潮。

總結(jié)：特斯拉算法

Ashok 講的是特斯拉想去哪兒，Phil Duan 講的是特斯拉怎么走到那兒。前者是敘事，后者是工程。對(duì)做行業(yè)內(nèi)的人來說，后者更有用。
Phil Duan 這場(chǎng)演講最反常識(shí)的地方在于：它把過去十年被行業(yè)拋棄的東西，又撿了回來。
感知、分割、檢測(cè)、深度、光流、OCR——這些模塊化時(shí)代的老任務(wù)，一個(gè)都沒死。它們只是從"系統(tǒng)的骨架"變成了"訓(xùn)練的腳手架"。樓蓋完了腳手架拆掉，但樓的形狀是腳手架決定的。
這也是為什么"端到端 = 黑盒"這個(gè)流傳最廣的說法，其實(shí)是錯(cuò)的。FSD 內(nèi)部有大量人類完全讀得懂的中間表征，只是到了車上不再導(dǎo)出。不導(dǎo)出，不等于不存在。
最后留個(gè)問題給各位：如果代理任務(wù)才是端到端不塌的關(guān)鍵，那國內(nèi)玩家和特斯拉的差距，到底是差在模型規(guī)模和算力，還是差在這十幾個(gè)頭選得對(duì)不對(duì)、訓(xùn)得齊不齊？歡迎評(píng)論區(qū)聊聊。
最后的最后廣告部分：
買書么？自動(dòng)駕駛的，Vehicle聯(lián)合機(jī)工社權(quán)威出版的，汽車行業(yè)高薪崗位，未來具身智能必備書籍
參考資料以及圖片
CVPR 2026 Self-Driving at Scale with Foundation Models的演講內(nèi)容 - Phil Duan (Tesla)，
*未經(jīng)準(zhǔn)許嚴(yán)禁轉(zhuǎn)載和摘錄-獲取本文參考資料方式：加入我們的知識(shí)星球可以下載公眾號(hào)海量參考資料包含以上參考資料。
>>>>相關(guān)推薦
中國的 L3/L4 強(qiáng)標(biāo)落地了：一個(gè)從業(yè)者的大白話解讀
一文理解具身智能的基礎(chǔ)模型：如何從“看懂世界”走向“動(dòng)手完成任務(wù)”
一文看懂物理AI真正的門檻：不是算法模型，而是系統(tǒng)工程
2026上半年歐洲+英國汽車市場(chǎng)解讀：電動(dòng)化越過臨界點(diǎn)，中國品牌集體上量
4月中國車市真相：銷量微跌2.5%，出口暴漲74%，利潤率跌穿3.5%
5月中國車市解讀：一張遮羞布，兩個(gè)斷層帶，三個(gè)意想不到

登錄閱讀全文



免責(zé)聲明：該內(nèi)容由專欄作者授權(quán)發(fā)布或作者轉(zhuǎn)載，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)，本站亦不保證或承諾內(nèi)容真實(shí)性等。若內(nèi)容或圖片侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系本站刪除。侵權(quán)投訴聯(lián)系：? nick.zong@aspencore.com！

Vehicle 不斷奔跑才能應(yīng)對(duì)變化,與汽車業(yè)內(nèi)企業(yè)個(gè)人一起成長

進(jìn)入專欄

評(píng)論