案例簡介
樞途科技（Synapath AI）基于 NVIDIA GPU、Jetson AGX Orin 等算力底座、成熟的 AI 加速生態、NVIDIA Isaac Sim、Omniverse 平臺的仿真合成技術，加速了從互聯網視頻提取具身智能模型訓練數據，實現了從視頻三維大世界重建、任務語義信息理解、物體細節及軌跡提取、多模態數據采集、具身智能算法訓練的全鏈路打通。
在 NVIDIA 軟硬件生態的支持下，樞途科技整體數據提取和處理效率大幅提升，實現了多具身模型的數據訓練驗證和實機部署。
樞途科技相關演示照片
視頻驅動的具身智能新興企業
樞途科技是一家專注從視頻提取多模態具身智能訓練數據的公司，致力于解決具身智能模型行業當前最急迫的訓練數據缺乏問題，以數據驅動機器人智能化。
作為具身智能訓練數據采集技術的新興企業，樞途科技憑借視頻高精度三維重建、跨域映射 Re-target 等技術，自研 SynaData 算法，實現從單目 2D-RGB 視頻數據中提取高精度“人-手-物”交互多模態具身數據，并在 RDT、EquiBOT、UniVLA 等 VLA 模型上驗證了數據精度和質量。
公司應用 NVIDIA GPU 提供的高效并行能力實現了 2D 視頻到 3D 數據的高速重建，以及 3D 數據至具身多模態訓練數據的高速提取，并將所提取的具身多模態訓練數據與 Isaac Sim 平臺進行了融合，實現了從視頻 3D 重建、軌跡等多模態數據提取、仿真環境融合、VLA 模型訓練的全棧批量化視頻數據具身模型訓練閉環。
在 NVIDIA GPU 工作站的高效計算和多并行能力加持下，以及 Isaac Sim 平臺的高保真物理仿真和多傳感器仿真環境支撐下，樞途科技的具身數據采集速度提升了 15+ 倍，模型訓練速度和落地度提升 60+ 倍。借助 NVIDIA 技術，樞途科技正實現讓機器人通過輸入人類視頻學習各種操作技能，將具身智能訓練范式從勞動密集型的“手把手教學”升級為高效可擴展的“觀看教學”模式，加速突破具身智能的 Scaling Law。
具身智能領域的三大數據困境
數據是具身智能的靈魂，但與文本大模型可以直接使用互聯網上的文本數據不同，具身智能行業目前正深陷數據嚴重不足的泥潭。當前行業所依賴的數據采集方式或純依靠算法生成，存在較大的物理失真；或需要人工操作，以至邊際成本過高。
視頻數據兼具真實世界的物理完備性、人類交互的真實性和近乎為零的邊際成本，是具身智能大模型的理想數據源。但要想實現從視頻數據中提取高質量的具身智能訓練數據還需要克服以下三大挑戰：
1. 視頻維度坍塌
單目相機丟失場景深度維度信息：從單目視頻的 2D 像素流重建 3D 物理世界，本質是欠約束的逆向求解過程。解決此類問題需要大量依賴先驗知識（如人體骨骼長度）反推，并靠大量算力進行多并發推理，否則會造成較大的數據推導誤差，例如人手抓取玻璃杯時，指尖與杯壁接觸點的深度歧義會導致抓握姿態誤判率超過 40%。
物體交互導致的自遮擋：手掌與物體交互時會導致 30% 以上關節點不可見，傳統插值法會產生累計誤差，根據 ICRA 2023 基準測試數據，遮擋超過 5 幀時，軌跡重建的誤差會呈指數增長。
2. 提取精度不足
信號衰減鏈：包括光學成像損失、運動軌跡模糊、傳感器噪聲、算法量化誤差等。例如鏡頭畸變造成的圖像邊緣坐標偏移會導致 3%-8% 的徑向誤差；快速運動會造成邊緣定位失敗，一般會導致不低于 10 像素的位移誤差等。這些挑戰直接影響了從視頻中提取到的軌跡數據精度，數據精度不足不僅無法優化具身智能模型，反而會導致模型數據污染等問題。
3. 算法遷移失真
人體與機械運動差異：人體動作提取的軌跡數據到機器人執行存在較大的動力學代溝。例如人類實現流暢抓取的動作由于超出了機械臂的諧振頻率，其所提取軌跡訓練的算法遷移到機械臂會出現 10Hz 以上的高頻震顫。要解決這一問題，既需要強化學習進行算法微調，又需要擁有多種動力學參數擾動的虛擬環境生成目標算法的補償策略。
NVIDIA 生態賦能樞途科技
突破視頻提取具身數據技術鴻溝
基于前述挑戰，樞途科技選擇采用 NVIDIA GPU 作為算力硬件基礎加速模型訓練和真實世界視頻數據提取，并結合 Omniverse 和 Isaac Sim 仿真環境將數據應用到機器人訓練中，成功攻克 2D 視頻難以被有效用于具身智能模型訓練的技術難題，開辟了讓行業真正有機會獲取海量訓練數據的新渠道。
樞途科技采用 NVIDIA GPU 及 CUDA 進行大規模并行處理計算。
在 NVIDIA GPU 的高帶寬和高現存容量支持下，原本需要花費數小時才能實現的視頻逐幀深度推理被加速在 10 分鐘內完成。
結合 NVIDIA GPU 的算力資源和對 CUDA 工具的充分調用，樞途科技的視頻深度估計算法可以實現高效混合精度計算，吞吐量提升 3 倍以上。
在 NVIDIA GPU 的支持下，樞途科技將視頻 3D 重建的欠約束逆問題轉化為海量先驗假設的并行驗證，綜合重建速度提升 25 倍以上。
2. NVIDIA SDK 助力高精度軌跡采集
得益于 NVIDIA GPU 在 Tensor Core 與 Transformer Engine 上的原生加速，將 3D 重建、深度估計和關鍵點推理等核心環節全部固化在顯存端完成，配合 NVIDIA 最新 SDK 構建的端到端流水線，樞途科技實現了單卡視頻處理 FPS 15 倍于 Ampere 系列的持續吞吐。
樞途科技采用 NVIDIA SDK 等生態實現了將原本需要數周才能跑完的海量視頻預處理，縮減到 30 小時交付，大大加速模型迭代。
基于高速的模型迭代和大量先驗知識的算法化，實現了視頻軌跡數據提取精度突破亞厘米，為后續具身數據提取打下堅實基礎。
3. NVIDIA Isaac Sim 賦能具身算法高效 Re-target
樞途科技從視頻中提取的具身數據與 Isaac Sim 進行深度融合，借助 Isaac Sim 的高保真物理物理仿真能力，打通具身數據與具身模型算法之間的訓練通路。
Isaac Sim 內包含超千項動力學參數擾動，包括摩擦系數、負載慣性等，疊加 NVIDIA GPU 高效的實時渲染，具身智能的模仿學習（IL）、強化學習（RL）、具身智能算法（VLA）等先進訓練算法得以在虛擬環境中進行，現實世界需要耗費數周時間、數十臺機器人硬件成本的訓練過程被顛覆。
樞途科技視頻具身數據配合 Isaac 的數據增擴能力，能夠在數小時內生成海量高質量步態樣本，并支持多機器人并行訓練，使模型收斂速度提升至過去的數十倍。
在連續軌跡優化和動力學一致性約束的加持下，學得的抓取策略更加智能、泛化且穩定，幫助夾爪或靈巧手針對復雜對象的抓取位姿推理更加準確，迅速拓展交互、運送、分揀等應用場景。
在 NVIDIA GPU、CUDA、SDK 等技術及生態的賦能下，樞途科技實現視頻三維重建、高精度軌跡提取、具身多模態數據采集、具身智能算法訓練的全鏈路打通，為具身智能數據采集找到高質量、低成本、規模化的一條新路。
目前，樞途科技 SynaData 算法從視頻中提取到的具身智能訓練數據已經在 RDT、UniVLA（VLA based）、EquiBOT（Diffusion Policy Based）等具身模型算法上實現了訓練驗證。依托 NVIDIA 算力及 Isaac Sim 仿真平臺，樞途科技將為更多具身智能開發企業、院校批量化交付高保真、低成本、可遷移的視頻具身數據，助力具身智能模型突破 Scaling Law，實現真正的通用具身智能。
NVIDIA 加速樞途科技具身模型落地
樞途科技依托 NVIDIA 軟硬件全棧生態、高性能 AI 加速集群、端到端視頻算子優化、Isaac 虛擬仿真環境，在海量視頻到具身訓練的數據管線上實現了行業領先的高速處理與算法精煉，為行業探索出了突破具身算法 Scaling Law 的一條數據采集新路，樹立了新興數據采集技術的風向標。
樞途科技首席技術官林嘯表示：“隨著具身智能邁入‘數據原生 2.0’時代，真正規模化落地的核心瓶頸已從模型設計轉向數據采集策略。NVIDIA 強大的 GPU 算力矩陣、AI 加速方案和 SDK 生態為樞途科技構筑了堅實的底層算力底座。在此基礎上，樞途科技得以實現將數以億計的視頻幀在極短時間內完成三維重建、軌跡提取、自動標注。借助 NVIDIA Isaac Sim，視頻具身數據到具身模型算法訓練的最后一公里得以閉環，讓 SynaData 數據飛輪真正跑了起來，為行業驗證了具身數據采集的新路徑和新范式。”
在這一技術協同下，樞途科技的數據流水線可將復雜的三維場景重建、關鍵點追蹤與動力學一致性校正全部常駐顯存端執行，實現多倍量級的吞吐提升；同時，靈活的增擴策略與仿真對齊機制確保了每一條數據都能在虛實之間保持高度一致，為具身智能模型提供跨場景、跨本體的穩健泛化能力。
林嘯強調：“正是 NVIDIA 的算力支撐與樞途科技自主的數據基座，讓機器人擁有快速學習、可靠部署的全鏈路能力，并正在為諸多有實際應用落地需求的行業解鎖數據驅動的智能新紀元。”
*本文中圖片由樞途科技提供，如果您有任何疑問或需要使用圖片，請聯系樞途科技。
