NVIDIA 加速人形機器人發展

丹佛—SIGGRAPH—當地時間 2024 年 7 月 29 日—為加速全球人形機器人的發展，NVIDIA 于今日宣布，為全球領先的機器人制造商、AI 模型開發者和軟件制造商提供一套服務、模型以及計算平臺，以開發、訓練和構建下一代人形機器人。

整套產品包括用于機器人仿真和學習的全新 NVIDIA NIM™ 微服務和框架、用于運行多階段機器人工作負載的 NVIDIA OSMO 編排服務，以及支持 AI 和仿真的遠程操作工作流，該工作流允許開發者使用少量人類演示數據來訓練機器人。

NVIDIA 創始人兼首席執行官黃仁勛表示：“AI 的下一波浪潮是機器人，其中最令人興奮的發展之一是人形機器人。我們正在推進整個 NVIDIA 機器人堆棧的發展，面向全球人形機器人開發者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和 AI 模型。”

借助 NVIDIA NIM 和 OSMO 加速開發

NIM 微服務提供了由 NVIDIA 推理軟件提供支持的預構建容器，使開發者能夠將部署時間從數周縮短到幾分鐘。機器人專家將能夠通過兩項新的 AI 微服務，在 NVIDIA Isaac Sim™（基于 NVIDIA Omniverse™ 平臺構建的機器人仿真參考應用）中增強生成式物理 AI 仿真工作流。

MimicGen NIM 微服務可根據 Apple Vision Pro 等空間計算設備記錄的遠程操作數據，生成合成運動數據。Robocasa NIM 微服務可在 OpenUSD（一個用于在 3D 世界中進行開發和協作的通用框架）中生成機器人任務和仿真就緒環境。

現已推出的 NVIDIA OSMO 是一項云原生托管服務，允許用戶跨分布式計算資源來協調和擴展復雜的機器人開發工作流，無論是在本地還是在云端。

OSMO 大大簡化了機器人訓練和仿真工作流，將部署和開發周期從數月縮短到一周內。用戶可以對各種任務進行可視化管理，包括合成數據生成、模型訓練、強化學習以及大規模的人形機器人、自主移動機器人和工業機械臂軟件在環測試。

為人形機器人開發者提供先進的數據捕獲工作流

訓練人形機器人的基礎模型需要大量的數據。遠程操作是獲取人類演示數據的方法之一，但這個過程正變得越來越昂貴和漫長。

通過在 SIGGRAPH 計算機圖形大會上展示的 NVIDIA AI 和 Omniverse 遠程操作參考工作流，研究者和 AI 開發者能夠從極少量遠程捕捉的人類演示中生成大量合成運動和感知數據。

首先，開發者使用 Apple Vision Pro 捕獲少量遠程操作演示，隨后在 NVIDIA Isaac Sim 中仿真這些錄像，并使用 MimicGen NIM 微服務基于錄像生成合成數據集。

開發者可以使用真實數據和合成數據對 Project GR00T 人形機器人基礎模型進行訓練，以節省時間和降低成本。然后，他們可以使用 Isaac Lab 中的 Robocasa NIM 微服務（一個機器人學習框架）來生成經驗并重新訓練機器人模型。在整個工作流中，NVIDIA OSMO 將計算任務無縫地分配給不同的資源，為開發者減少了數周的管理工作量。

通用機器人平臺公司傅利葉看到了使用仿真技術綜合生成訓練數據的優勢。 

傅利葉首席執行官 Alex Gu 表示：“人形機器人的開發極其復雜，這項工作需要從現實世界中繁瑣地獲取大量真實數據。NVIDIA 的全新仿真和生成式 AI 開發者工具將有助于引導和加速我們的模型開發工作流。”

擴大 NVIDIA 人形機器人開發者技術的訪問渠道

NVIDIA 提供了三個計算平臺來簡化人形機器人的開發，分別是：用于訓練模型的 NVIDIA AI 超級計算機；基于 Omniverse 構建的 NVIDIA Isaac Sim，使機器人可以在仿真世界中學習和完善技能；以及用于運行模型的 NVIDIA Jetson™ Thor 人形機器人計算機。開發者可以根據具體需求來訪問和使用全部平臺或其中的任何部分。

通過新的 NVIDIA 人形機器人開發者計劃，開發者可以提前獲取這些新產品以及最新版本的 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機器人基礎模型。

首批加入早期訪問計劃的企業有 1x、波士頓動力公司、字節跳動 ByteDance Research、Field AI、Figure、傅利葉、銀河通用、逐際動力、Mentee、Neura Robotics、星動紀元和 Skild AI。

波士頓動力公司首席技術官 Aaron Saunders 表示：“波士頓動力公司與 NVIDIA 在推動機器人技術發展方面有著悠久的密切合作歷史。我們非常高興看到這項工作的成果正在加速整個行業的發展。而要想獲得最先進的技術，早期訪問計劃無疑是最佳的途徑。”

可用性

開發者現在可以加入 NVIDIA 人形機器人開發者計劃，以訪問 NVIDIA OSMO 和 Isaac Lab，并將很快能夠訪問 NVIDIA NIM 微服務。

觀看 NVIDIA 創始人兼首席執行官黃仁勛在 8 月 1 日于丹佛舉行的 SIGGRAPH 計算機圖形大會上的爐邊談話，進一步了解生成式 AI 和加速計算的最新進展。