開發一款人形機器人，不單單是做成人的樣子，還要讓它具備一顆接近人的“大腦”，在面對現實物理世界時具備一些簡單的思考和推斷能力。但說是簡單，實現起來卻困難重重，物理 AI（Physical AI）的崛起正是為了填補這一空白……
時間來到2025 年，人工智能（AI）產業已呈現清晰的技術分化。根據Gartner 2025年AI技術成熟度曲線報告，AI技術已從單一的“感知”功能（如圖像識別、語音處理）發展為四大分支。
最早用于計算機視覺和語音識別的，是所謂的感知AI（Perception AI），至此很長一段時間AI在人們的認知中就是簡單的語音轉文字、人臉識別一類應用；直到2018年谷歌發布Transformer模型BERT，才讓AI的發展向前邁進一步，2022年底，以 ChatGPT 為代表、基于Transformer的大語言模型（LLM）面世，重構了文本處理范式，生成式 AI（Generative AI）在內容創作領域掀起革命；而我們現在所處的，是從生成式AI向代理式AI（Agentic AI）過渡的關鍵節點，Agentic AI具備自主推理和決策能力，能推動智能體在虛擬世界實現復雜任務。
然而，當 AI 需要驅動物理實體 —— 如機器人 —— 與現實世界交互時，傳統大語言模型的局限性暴露無遺。人形機器人需要理解重力對物體抓取的影響、預判推箱子時的摩擦力變化、在動態環境中維持平衡，這些能力依賴于對物理定律的實時建模與推理，而非文本統計規律。
物理 AI（Physical AI）的崛起正是為了填補這一空白。與依賴符號邏輯或統計學習的傳統 AI 不同，物理 AI 的特殊性在于其必須解決“現實世界物理約束”問題，聚焦于構建 “具身智能”，即通過傳感器融合、動力學建模和實時控制，讓機器人在真實物理環境中實現安全、高效的交互。
例如，工業機械臂抓取不規則物體時，需實時計算接觸力與重心分布，這依賴于精確的物理仿真和數據驅動的控制策略，而這些正是 LLM 無法勝任的。英偉達（NVIDIA）在 2025 年 GTC 大會上推出的系列技術，正是圍繞物理 AI 的核心痛點 ——數據采集成本高、仿真精度不足、跨模態控制復雜—— 展開突破。
現實世界的物理挑戰：機器人物理AI開發三大痛點
開發一款人形機器人，不單單是做成人的樣子，還要讓它具備一顆接近人的“大腦”，在面對現實物理世界時具備一些簡單的思考和推斷能力。但說是簡單，實現起來卻困難重重。
首先，物理交互的復雜性遠遠超越符號推理。真實環境中的機器人面臨非線性動力學問題：雙足行走時的平衡控制需要實時解算 100 + 自由度的動力學方程，抓取玻璃水杯時需感知接觸力避免滑落，這些任務涉及微分方程求解和高頻反饋控制，遠超 LLM 的序列生成能力。傳統基于規則的控制算法難以泛化，而純數據驅動的方法（如強化學習）在真實硬件上試錯成本高昂，動輒需要數千小時的物理測試，安全性和效率均無法滿足需求。
而且物理AI決策延遲需控制在毫秒級，機器人在動態環境中避障時，若延遲超過50ms可能導致碰撞。例如，早期人形機器人在復雜地形行走時，常因無法實時調整重心而摔倒。又以波士頓動力Atlas機器人的跳躍障礙任務為例，其需實時計算關節力矩來確保運動軌跡的穩定性、計算地面摩擦系數來避免滑倒，甚至還需要計算空氣阻力，來優化跳躍高度與距離。傳統方法依賴預設程序，難以應對復雜場景，當障礙物高度或材質發生變化時，程序需重新編寫，這一切都暴露出傳統控制策略對動態環境的適應性不足。
（圖自：Boston Dynamics）
其次，數據采集存在 “維度鴻溝”。我們平時訓練視覺模型，需要百萬級圖像數據，而訓練物理 AI則需要百萬級帶物理標注的軌跡數據，二者在數據維度上存在顯著鴻溝。例如，訓練機器人開門需要記錄關節扭矩、接觸力、物體運動軌跡等多維度數據，而這類數據在現實中難以大規模采集 —— 單個工業機器人每天僅能生成數小時有效數據，且需人工標注物理參數，成本是圖像數據的數百倍。這種數據稀缺性導致模型訓練樣本不足，難以覆蓋現實世界中的復雜場景，進而限制了機器人的泛化能力。
最后是仿真與現實之間，永遠存在鴻溝。盡管仿真技術可生成大量數據，但傳統物理引擎（如 MuJoCo）在復雜場景下的精度不足，需融合視覺、力覺、觸覺等傳感器數據。例如，布料褶皺的動力學模擬、液體晃動的多相流計算、非結構化環境中的碰撞檢測，均存在 “仿真 - 現實” 偏差。
現有大模型在虛擬環境中訓練后，遷移到真實場景時性能衰減達40%以上。例如，視覺模型可能因光照變化或地面材質差異而失效。早期研究顯示，僅依賴仿真數據訓練的機器人在真實場景中的任務成功率低于 30%，必須依賴大量真機調參，形成 “數據閉環” 的周期長達數月。這種偏差使得仿真難以替代真實測試，阻礙了機器人開發的效率提升。
“三臺計算機”，重構物理 AI 開發范式
針對上述機器人領域開發痛點，英偉達提出了 “三臺計算機”（NVIDIA‘s 3 Computers）系統架構，構建從訓練到部署的全流程閉環，它們分別是：
第一臺計算機：DGX—— 云端訓練大腦
DGX 超級計算機在搭載Hopper架構GPU時，可提供 2000 PFLOPS FP4 算力，支持訓練萬億參數的物理 AI 模型，用于訓練大規模物理AI模型。
例如，NVIDIA Isaac GR00T N1 基礎模型在訓練時融合 2623 小時真實機器人數據、1742 小時仿真數據和 2517 小時人類行為視頻（如 Ego4D 數據集），通過混合精度訓練（FP8/FP4）將訓練時間縮短 40%。DGX 的分布式訓練框架支持跨 8 個 Hopper GPU 的并行優化，使千萬量級軌跡數據的處理效率提升 3 倍。這一算力優勢不僅加速了模型訓練，更使得復雜物理模型的學習成為可能，為物理 AI 的發展提供了堅實的計算基礎。
第二臺計算機：Cosmos+Omniverse—— 數字孿生仿真
這個組合用于構建高保真虛擬環境，加速模型開發。
Cosmos 世界基礎模型基于 2000 萬小時多模態數據（包含視覺、力傳感器、關節軌跡），生成物理一致的合成場景。例如，Isaac Lab提供的仿真環境可精確模擬不同材質（如冰面、地毯）的摩擦系數，減少對真實硬件的依賴；通過擴散模型生成冰箱門開啟的 10 萬種變體數據，覆蓋不同材質、阻尼系數和初始位置，解決真實數據稀缺問題。
Omniverse 平臺則可以提供物理精確的數字孿生環境，支持 1000 + 機器人并行仿真，單場景算力消耗較傳統引擎降低 50%。二者結合可以實現 “數據倍增”的效果，例如5 條真實演示數據通過 GR00T-Mimic 工作流可擴展至 1000 條合成軌跡，數據生成效率提升 200 倍。這種數據生成能力的飛躍，有效緩解了物理 AI 數據采集的難題，為模型訓練提供了豐富的素材。
第三臺計算機：AGX —— 端側部署引擎
這部分主要部署在機器人本體，實現低延遲推理（如關節控制）。以Jetson AGX Thor 芯片為例，集成 2000 FP4 TFLOPS 算力，支持實時運行復雜控制模型。其硬件安全島設計滿足 ISO 26262 功能安全標準，確保機器人在工業場景中的故障容錯；256-bit LPDDR5X 內存支持加載 2B 參數的 GR00T N1 模型，推理延遲低至 12ms，滿足 100Hz 高頻控制需求。
之前這個領域主要以Jetson AGX Orin為主，其邊緣推理單元集成500 TOPS算力，延遲控制在15ms內，滿足了部分實時控制的需求。而Jetson Thor 芯片的出現，使得機器人能夠在邊緣端實現更高效的模型推理，進一步減少對云端的依賴，提升了機器人的實時性和自主性，為物理 AI 的落地應用提供了硬件保障。
從模型到引擎的開源工具鏈，降低機器人開發門檻
今年3月，英偉達正式推出首個通用人形機器人基礎模型NVIDIA Isaac GR00T N1，在行業看來，這標志著機器人開發進入了一個全新的階段。因為其雙系統架構的設計極具創新性。
系統1（System 1 ）作為底層控制模塊，通過擴散模型（DiT）實現 120Hz 高頻關節控制，直接生成關節位置 / 速度指令，解決實時平衡控制問題；System 2 采用 Eagle-2 視覺語言模型（1.34B 參數）處理自然語言指令（如 “將紅色杯子放入黃色柜子”），通過跨模態注意力對齊視覺輸入與動作空間。這種 “小腦（VLM視覺模型）+ 大腦（Diffusion Transformer）” 的分工模式，有效解決了機器人 “腦 - 體” 協同的難題，使得機器人能夠在復雜環境中快速做出反應。
從技術實現角度看，GR00T N1 的跨本體泛化能力尤為突出。通過 “Embodiment-Specific Adapters”，它能夠將不同機器人（如宇樹 GR-1、傅利葉智能 Galbot）的關節空間投影到統一動作空間，支持在新機型上的快速遷移，無需重新訓練基礎模型。這一特性打破了傳統機器人開發中 “一機一模型” 的局限，大大降低了開發成本和時間。在英偉達公布的實測視頻中，在未見過的物體抓取任務中，GR00T N1 的成功率比傳統模型提升 40%，充分證明了其泛化能力的優勢。
開源生態也是 GR00T N1 的另一大特點。目前模型權重（2B 參數）和預訓練腳本已經在 Hugging Face 開放，配套 LeRobot 數據格式支持快速接入自定義數據集。開發者可通過 4 步流程完成微調：數據轉換（LeRobot 格式）、模態配置（視覺 / 狀態 / 動作）、擴散模型訓練（4 步去噪）、端側部署（TensorRT 優化）。預計這種低門檻的開發模式，會使得更多中小團隊甚至個人開發者能夠參與到機器人開發中來。
除了GR00T N1，Newton 開源物理引擎也可以看作機器人仿真領域的一次重大突破。
基于 NVIDIA Warp 框架的Newton，實現了 70 倍于 MuJoCo （Multi-Joint dynamics with Contact）的仿真速度，支持極端場景下的復雜動力學模擬（如布料、流體、動態障礙物），單場景百萬粒子計算耗時從 2 小時縮短至 1.5 分鐘。這種效率提升不僅體現在計算速度上，更重要的是其微分編程特性。
通過允許梯度反向傳播至物理參數（如摩擦系數），Newton 支持基于梯度的策略優化，較傳統強化學習樣本效率提升 3 倍。通過Newton引擎生成對抗樣本（如低摩擦表面或動態障礙物），訓練模型在極端條件下的魯棒性。數據顯示，在滑動表面測試中，經過對抗訓練的模型成功率從32%提升至89%。這意味著開發者可以減少對真實硬件的依賴，通過更少的訓練數據和時間，獲得更優的控制策略，大大加速了機器人算法的迭代過程。
從生態兼容性來看，Newton 兼容 MuJoCo 仿真格式，支持 OpenUSD （Universal Scene Description）場景描述，可以添加自定義求解器，例如Material Point Method （MPM）求解器與沙子與剛體動力學相結合。這使得它能夠無縫接入包括Isaac Lab、MuJoCo Playground在內的現有機器人開發工作流。
目前，迪士尼、DeepMind 等合作伙伴已基于 Newton 開發下一代娛樂機器人（如星球大戰 BDX 機器人）和工業機械臂控制策略，充分證明了其在實際應用中的價值。據悉Newton將于今年下半年正式發布，值得一提的是，其開源協議（Apache 2.0）允許學術機構自由修改物理模型，這對于推動產學研協同創新，豐富機器人仿真的技術生態意義深遠。
如何實現從 “數據貧困” 到 “數據爆炸” ？
前面我們提到，訓練物理AI需要的百萬級帶標注的軌跡數據，這樣的量級依靠真機采集完全不現實，互聯網數據雖多，但大部分沒有標注，并不可靠。英偉達給出的方案，是構建一個合成數據生成體系，如同三級火箭般層層推進，來解決物理 AI 數據稀缺的問題。
第一級是 GR00T-Teleop 采集金標準，NVIDIA Isaac GR00T Blueprint通過 Apple Vision Pro 等設備采集人類遙操作數據（Real Data），生成高精度示范軌跡（如 3D 關節坐標、接觸力傳感器數據），作為合成數據的 “種子”。這些數據具有極高的真實性和準確性，為后續的數據增廣提供了可靠的基礎。
第二級是 GR00T-Mimic 數據增廣，工作流基于 Newton 引擎的 GPU 加速能力。在一個案例中，GR00T-Mimic將 5 條真實演示分解為子任務片段（如 “伸手→抓取→移動→放置”），通過空間變換生成 1000 條變體軌跡，覆蓋目標位置、物體姿態的多樣性。NVIDIA Isaac Sim的傳感器模擬器則可生成視覺、IMU、力覺數據。例如，在模擬倉庫環境中，同步記錄貨架高度、機器人運動軌跡和抓取力數據，構建多維度訓練集。這些合成數據（Sim Data）增強技術不僅擴大了數據規模，更重要的是增加了數據的多樣性，使得模型能夠學習到更多復雜場景下的應對策略。
第三級是 Cosmos 世界模型擴展，基于 2000 萬小時多模態數據訓練的 Cosmos Predict，可預測物體運動軌跡（如 “推箱子時的滑動距離”），生成無限長尾場景數據，解決 “未見場景泛化” 問題。
通過這三級數據生成機制，開發者就能實現從少量真實數據到大量合成數據的跨越，為物理 AI 模型的訓練提供了充足的 “燃料”。
那么問題又來了，真實數據與合成數據能混用嗎？帶來的成功率如何？這就涉及到“真實 - 合成數據協同訓練”（Co-Training）。
在數據訓練層面，英偉達有一個 “數據金字塔” 策略。即，
- 底層：海量的人類視頻（如做飯、組裝物品等）和互聯網視覺語言數據，提供通用行為模式；
- 中層：通過物理仿真生成的模擬軌跡（如虛擬廚房操作）和AI生成的“神經軌跡”（類似機器人操作的視頻），覆蓋多樣性（如不同光照、物體材質），通過混合損失函數（αL_sim + (1-α) L_real）平衡仿真與現實偏差；
- 頂層：真實機器人采集的示范數據（如抓取、搬運等），提供物理約束（如關節扭矩極限），確保模型能精準執行實際動作。
這種分層設計，既利用了低成本的人類視頻學習“常識”，又通過合成數據彌補真實數據的不足，最終用少量真實數據“校準”模型。后訓練（fine-tuning）策略充分發揮了真實數據的準確性和合成數據的多樣性優勢，通過科學的權重分配，有效減少了 “仿真 - 現實” 偏差。
模型訓練環節，GR00T N1在多模態輸入處理和跨領域知識融合方面的能力突出，能夠充分利用合成數據和真實數據進行高效訓練。例如，在訓練機器人執行復雜操作任務時，GR00T N1 可以同時學習視覺場景、語言指令和機器人狀態之間的關聯，快速掌握任務要求并生成精準的動作序列。
驗證模型訓練效果，通常分為多個階段和指標：
• Loss下降趨勢：觀察訓練過程中的損失函數（loss）是否持續下降，表明模型在逐步學習并減少錯誤。特別是在模仿學習中，error應逐漸減少。
• 預測動作與真實動作對比：通過繪制ground truth（真實動作）與predicted action（預測動作）曲線，評估兩者的吻合程度。這比單純查看某些loss指標（如MAC loss）更直觀和有效。
• 仿真測試集任務成功率：在仿真環境中，執行具體任務（如“將蘋果放入籃子”），統計模型完成任務的成功率。這是衡量策略模型性能的直接指標。
• 任務隨機化測試魯棒性：對已有任務進行環境隨機化測試，如改變籃子的位置、顏色，或更換不同形狀的物體，檢驗模型對環境變化的適應能力和魯棒性。這反映模型在現實中面對細微差異時的穩定性。
• 真機測試驗證：最終將模型部署到真實機器人上，執行各種任務，觀察成功率和執行質量。
實測顯示，該策略使機器人在 “開門 + 放置物品” 復合任務中的成功率從 42% 提升至 82%；在抓取不規則物體時，GR00T N1通過視覺模型識別物體形狀，結合力反饋調整握力，成功率達78%，而傳統模型僅55%。
如光輪智能等專注于使用仿真技術推動AI進入物理世界的公司，也實際證明了數據協同訓練的有效性，并認為仿真合成數據使用比例未來在GR00T迭代版本中將有百倍的增長空間，有效助力GR00T模型加速落地。
Thor實現端云協同生態部署
雖然還未正式上市，但Jetson AGX Thor 芯片的出現，徹底改變了機器人端側計算的格局。根據此前英偉達發布的信息，Thor在異構計算架構設計上很巧妙，14 核 Poseidon-AE CPU 處理實時控制邏輯（如 100Hz 力矩控制），Blackwell GPU 加速視覺推理（如 6D 物體姿態估計），支持同時運行 GR00T N1 模型（2B 參數）和實時傳感器融合算法。
單芯片集成1000 TOPS AI算力+100 TFLOPS圖形算力，支持同時處理視覺識別與物理仿真，在能效比上則每瓦特算力提升3倍，適合邊緣部署——Thor這種級別的算力密度和能效比，使得機器人能夠在邊緣端實現復雜任務的處理，減少對云端的依賴，提升了系統的響應速度和自主性。
在安全性方面，Thor 芯片集成硬件安全島，支持功能安全等級 ASIL-D，滿足醫療機器人、工業協作機器人等對安全性要求極高的應用場景。4x25GbE 高速接口實現傳感器數據低延遲融合（如 12 路攝像頭同步采集延遲 < 5ms），確保了數據的實時性和準確性。
這些特性使得 Thor 芯片成為物理 AI 落地應用的理想硬件平臺，根據英偉達方面，今年6月底將提供Jetson AGX Thor的開發工具，正式上市時間或許將在7月中。
從 “專用設備” 到 “通用智能體” 的拐點
綜上所述，英偉達的技術組合正在引發機器人開發的范式革命。
首先，GR00T N1 的開源使中小團隊無需從頭訓練模型，聚焦特定場景微調（如酒店服務機器人的 “端茶遞水” 動作），研發周期從 18 個月縮短至 3 個月。這種開發效率的提升，將催生更多創新應用，推動機器人技術在各個領域的普及。
其次，產業生態正在重構。激光雷達廠商（如速騰聚創、禾賽科技）加速切入機器人賽道，提供高精度環境感知數據；零部件企業（如綠的諧波、中大力德）受益于通用機器人量產。平安證券在研究報告中預計，2027 年全球人形機器人核心零部件市場規模將達 20 億美元。英偉達的技術平臺正在成為產業協同創新的催化劑，帶動整個機器人產業鏈的發展。
在應用場景方面，也有顯著突破。在工業場景，傅利葉智能的 Galbot 機器人通過 GR00T N1 實現柔性裝配，復雜零件組裝效率提升 50%；在消費領域，宇樹 H1 機器人基于 Newton 引擎優化步態，在地毯、瓷磚等異質地面的行走穩定性提升 30%。
再往近一點說，近期在北京亦莊首屆人形機器人馬拉松大賽中，獲得第一名的天工Ultra，就來自與英偉達深度合作的北京人形機器人創新中心。據悉該中心還發布了全球首個支持多本體多場景應用的通用具身智能平臺“慧思開物”，可以實現“一腦多能”“一腦多機”。也就是說，機器人應用開發商或者是系統集成商可以使用這個平臺，在市場上選購一款機器人，通過簡單配置以及簡單的自然語言的描述，或者當有一些復雜任務需要一些編程，就可以讓這樣一個機器人去物理世界完成相應的任務。
天工Ultra在人形機器人馬拉松大賽沖線畫面（圖自：央視新聞）
可見，當前具身智能在“智能化”方面仍處于初級階段，行業亟需一個具備多本體兼容性、多場景適應性和強大泛化能力的通用智能平臺。GR00T N1這類開源模型就是機器人從專用設備到通用智能體的關鍵。
未來，物理 AI將賦予機器人真正的“大腦”
未來三年將是機器人 “大腦” 技術成型的關鍵窗口期，如果以英偉達的方案為例，我們或許可以窺見這個行業未來的發展脈絡。
在模型層面，GR00T N1 將進化至多模態統一架構，融合觸覺、力覺等傳感器數據，實現 “視覺 - 語言 - 動作” 端到端訓練，英偉達在今年GTC上公布模型在未知環境中的任務泛化成功率已從早期的 65% 提升至 82%，目標是通過更復雜的自監督學習突破 90%。這將使機器人具備更強大的感知和決策能力，能夠適應更加復雜多變的環境。
在數據層面，Cosmos 平臺計劃將工業場景數據規模擴展 10 萬小時級、家庭服務場景擴展至5 萬小時級，通過對比學習（Contrastive Learning）和掩碼自動編碼器（Masked Autoencoder），模型可從無標注 YouTube 工業操作視頻中學習物體運動規律，數據利用率提升 70%。隨著數據規模的擴大和利用效率的提高，物理 AI 模型將獲得更豐富的訓練資源，進一步提升其性能和泛化能力。
在硬件層面，Thor 芯片目前已集成 2000 FP4 TFLOPS 算力，支持 2B 參數的 GR00T N1 模型以 12ms 延遲運行，下一代架構計劃將算力密度提升至 4000 FP4 TFLOPS，可實時運行 10B 參數的超大規模模型，推動 “端云協同” 向 “端側自主” 進化。通過優化 TensorRT 推理引擎和硬件級任務調度，Thor 芯片計劃將關鍵控制信號的處理延遲從 50ms 縮短至 10ms，滿足 100Hz 以上的高頻控制需求。硬件性能的提升將使機器人能夠在邊緣端完成更復雜的計算任務，實現更高水平的自主性和實時性。
物理 AI 的進步不僅是人工智能技術突破，更將重塑工業、物流、零售等行業的生態。當機器人能夠像人類一樣理解物理世界，制造業、物流業、服務業的 50 萬億美元市場將被重新定義 —— 這不再是簡單的自動化升級，而是從 “工具” 到 “智能體” 的質變。英偉達的工具鏈恰似機器人領域的 “ChatGPT”，正在推開通用智能的大門，讓每個開發者都能低成本構建具備物理智能的機器人，最終實現 “一腦多形、一機多用” 的終極目標。隨著技術的不斷演進，我們有理由相信，物理 AI 將引領機器人產業進入一個全新的時代，為人類社會帶來更多的可能性。
您可能感興趣
