元宇宙實現之前，有哪些工作要做？

“元宇宙”是近期特別多人關注的話題，此前我們也特別撰文探討了元宇宙的話題。強烈建議移步閱讀這篇文章。

雖然如今涌現出大量宣稱要打造元宇宙的企業，不過我們認為，真正完整的3D虛擬世界，僅是“對物理世界物理法則的模擬”這一點，就在技術上具備了巨大的門檻。比如光、粒子、液體、材料、彈簧、線纜之類的物理特性，在數字元宇宙中也可能需要符合現實世界的法則。

英偉達的元宇宙叫Omniverse。我們從本周英偉達GTC大會上聽到了有關元宇宙的、幾個很有意思的說法。Omniverse平臺副總裁Richard Kerris在接受采訪時說：“早年萬維網剛剛出現的時候，大家也都會想：我的業務真的需要web嗎？web上面能干什么？”

“現在大家都知道，web已經成為我們溝通、做生意的一種基本方式；如今許多企業都會有自家的網站。我們相信那時候人們眼中的web，也就是現在人們眼中的虛擬世界。會有工廠、業務、娛樂、體驗、旅行、教育等等的虛擬世界。”

當3D技術真正變得成熟，“3D是與人們在現實世界中體驗非常靠近的一種呈現方式。”黃仁勛在主題演講中打了個更有意思的比方，“互聯網本質上是這個世界的數字表達，主要是各種2D信息，包括文字、語音、圖像、視頻。”

“現在我們擁有創建全新3D世界，或物理世界建模的技術。”而在這樣的世界里，“我們將像在互聯網上那樣，通過超鏈接，從一個世界跳到下一個世界。”這么說來，元宇宙在英偉達的眼中，其實就是互聯網的升維版本。這是個十分有趣的比方。

“這個新世界的規模比現實世界大得多。在這個世界里，我們也能購買、持有或出售房產、家具、汽車、奢侈品和藝術品。創意人員能創造出比現實世界里更豐富多樣的東西。”升維以后的網絡，自然會有一些新的東西。

本周英偉達GTC主題演講主要涵蓋了幾個方向：科學計算加速、AI、Omniverse、虛擬形象（avatar）、機器人/自動駕駛汽車。本文主要談談Omniverse、虛擬形象與機器人。其他幾個部分可點擊這里查看。后續針對黃仁勛的采訪，我們還將做一篇報道。

Omniverse現在的世界長什么樣

有關Omniverse的構成此處不再贅述，比如說來自Pixar的USD語言（可類比為互聯網上的HTML語言）、連接不同軟件的Connector等等……不過Omniverse并不單純用以描述元宇宙。Omniverse有不同發展階段與應用方向。今年GTC Spring的報道中，我們提到過Omniverse的主要應用方向包括了設計協作、模擬。

模擬很容易理解，在Omniverse中打造digital twin就屬于典型的“模擬”。比如寶馬公司用Omniverse打造自家汽車工廠的digital twin，來定期對工廠做規劃與測試。再比如Siemens Energy打造digital twin，對熱回收蒸汽發生器工作中的腐蝕過程做模擬，實現設備的預測性維護，據說每年可以節省近20億美元。

有個讓我們印象頗深刻的例子：愛立信用Omniverse打造了一座城市的digital twin（上圖），主要是用來配置、優化其5G天線和無線電。這次英偉達又對這個例子作了展開。

愛立信在Omniverse中構建的城市digital twin，在建筑物、植被、樹葉材質上具有“物理級”準確性，信號反射強度也是精準的，天線波束成形和信號路徑能夠得到精確仿真和可視化……利用RTX光線追蹤，能對城市中每個點的5G信號質量進行計算和可視化……最終設計出更高效、可靠的網絡。看demo還的確挺讓人驚嘆的。這大概就是元宇宙的雛形吧。

除了模擬之外，Omniverse還用于設計協作。可類比為云共享文檔。Omniverse面向設計師、建筑師等領域，讓他們從不同的工作地點、用不同的設計工具，就能進行3D制作流程的協作；而且可以用上英偉達的各種技術，比如AI、多GPU渲染、物理仿真（如光線追蹤）等。

比如此前ILM（工業光魔）就開始嘗試讓多個工作室內部和外部工作流水線，在Omniverse中聚集到一起。當然這其中需要解決很多實際問題，比如說不同工具之間如何實現數據互通，數據同步問題怎么解決等。這既是英偉達需要去解決的（包括USD語言、connector都屬于解決這些問題的組件），而且也是Omniverse生態擴張的過程。

Richard表示，自從上次GTC以后，就有6個新的connector/擴展接入到Omniverse中，新增15個ISV應用——宣布將支持USD，并將接入Omniverse。黃仁勛則提到，Omniverse已被500家公司的設計師下載了70000次。

這次英偉達發布Omniverse的幾個新特性包括了Showroom、Farm、AR、VR。

其中Showroom面向RTX顯卡用戶——可以看到Omniverse具體能夠做到些什么，也就是主要用來展示demo和sample的應用。英偉達認為，Showroom可以給予開發者靈感，啟發他們能做出些什么。Showroom在我們看來，更有教育市場的意義。

Farm是針對多GPU、多節點渲染和模擬的一個系統層（system layer）。Richard說英偉達自己就在用這個工具。上次GTC上，大約有超過60000幀畫面就是用Farm渲染和管理的，而這些資源需要跨越800臺設備做管理。

Omniverse AR則可以將圖形串流到手機或AR眼鏡；Omniverse VR是英偉達“首款全幀交互式光線追蹤VR (full fidelity, real time, full frame, ray traced VR)”，目前尚未正式發布。

Richard在接受采訪時特別強調Omniverse是個“平臺”，用于擴展、加強企業現有的工作流。比如面向建筑、制造、游戲開發、媒體娛樂等等平臺。“很多企業使用Omniverse就像使用操作系統一樣，他們還在上面構建應用。”“我們發現，有些客戶使用Omniverse的方式是我們也完全沒有想到的。我想這才是‘平臺’的魅力吧。”

這部分我們雖然沒怎么提元宇宙的事，不過黃仁勛在演講中說的一句話很有趣。他說，制造業的“虛擬工廠和機器人是物理復制品的數字孿生；實體版是數字版的復制品”。這句話可能說得很無意，不過卻讓我們想到將來元宇宙真的成了，元宇宙經濟發展興盛。那么是否可能，元宇宙里面原創的數字產品，在現實世界也會有physical twin……

除此之外，本次相關Omniverse的發布還包括：

● Omniverse Enterprise企業訂閱對全球企業開放，年訂閱費9000美元起。主要就是Omniverse的設計協作能力；

● 宣布推出Modulus，這是個開發Physics-ML模型的框架，針對的就是構建digital twin。這一點在系列報道的另一篇中已經有提及；

● 宣布推出Omniverse Replicator，這是個合成數據生成（synthetic data generation）引擎，面向的是Isaac Sim與Drive Sim。Replicator的價值在于產生多樣化、大量的數據集，這樣才能做出高質量、高性能和安全的AI。

● 宣布推出Omniverse Avatar，這是個打造可交互虛擬形象的平臺，基于AI技術。也就引出了本文接下來的部分：虛擬形象。

AI虛擬形象與虛擬機器人

我們在剛剛接觸英偉達打造的“虛擬形象”各類平臺、SDK、demo的時候很疑惑，這東西能有多大的價值？在英偉達本次GTC上探討較多AI虛擬形象的應用時，我們才發現似乎還真的很有用。

黃仁勛在主題演講甫開場就展示了一個叫做Toy-Me的個人虛擬形象。這是個會張嘴說話、與真人交流，而且有著表情和動作的虛擬形象。如果你日常在關注英偉達GTC與產品發布，應該很清楚英偉達有對話式AI技術。不過其最終實現似乎也遠超我們的想象。

Toy-Me當然只是個具體的實例——它也算是個虛擬機器人了。黃仁勛說未來會有數十億機器人幫我們做事，有些是實體機器人，而有些是虛擬機器人。虛擬機器人也要實現人機交互。而且在我們看來，Avatar也是Omniverse打造完整元宇宙的重要一環。

這類虛擬機器人的典型應用場景比如說客服。主題演講中演示這個應用，能夠在餐廳中和顧客直接對話，還能根據客戶要求推薦食物，甚至在與多個顧客對話時，能看著對話者的眼睛。這個應用叫Tokkio。

英偉達認為，像這樣的Avatar對于教育、零售、客戶服務、游戲、視頻會議等諸多應用場景，都具備了相當的價值。

Tokkio是英偉達做的一個參考應用，用于演示Omniverse Avatar所能達成的交互支持。在具體的實現上，像Toy-Me、Tokkio這樣的具體應用所需的技術支持還是相當多樣的。不是我們看到的這么簡單。

Richard特別談到Omniverse Avatar在實現上所需的SDK包括有用于感知的Metropolis、用于推薦的Merlin，用于擴展的Fleet Command，以及用于動畫和渲染的Omniverse——其中的某些SDK或平臺，此前我們也多多少少提到過了（畢竟英偉達現在的SDK、中間件實在太多了，名字也很難記住；而且似乎他們偷偷改名）。

也就是說像Tokkio、Toy-Me這樣的虛擬形象，背后的技術涵蓋圖形渲染、計算機視覺、自然語言理解、語音AI，還要加入推薦系統（畢竟是服務機器人）。其中的語音AI是這次新發布的：

● 宣布推出Riva語音AI

黃仁勛介紹說，負責語音AI的Riva能夠識別7種語言，還能生成字幕、翻譯、總結、回答問題、理解意圖，且實時響應。

據說訓練半小時，Riva就可以調整到特定的聲音，可對聲音音高、能量、時值（duration）等做各種精細化調整。換句話說，Riva其實是Omniverse Avatar/Maxine的輸入/輸出。

從黃仁勛的演講來看，Omniverse Avatar基于Maxine（也可能Maxine是Avatar品牌之下的一個項目）。有關Maxine，此前我們也多次撰文提到過。Maxine本身是個用于視頻會議、虛擬協作（virtual collaboration）、內容創作和live streaming telepresence的平臺；它可以用于視頻會議、制作游戲角色動畫，或者集成到機器人中。

我們之前看到過Maxine針對視頻效果、音頻效果和顯示增強的AI優化。比如在視頻會議上，通過AI的方式讓畫面質量不會受到網絡不穩定的影響；還能修正你的目光，讓其他人看起來，你是始終看著攝像頭的；生成卡通頭像等……

這次Maxine的演示中，黃仁勛解釋了其中的技術流程。比如在用Maxine進行視頻會議時，講話的人可以同時對外說出多種語言（實際上本人只說其中一種，Maxine會將其轉為多種語言，而且口型也是完全準確的）。

這個過程里，Riva先將文本轉換為不同語言的語音；隨后Omniverse接管，將語音轉換為3D面部動畫；與此同時，用計算機視覺追蹤講話者的面部，識別表情；3D動畫還能做出實時的動畫頭像。其中可能還穿插DeepStream這類視頻流分析SDK工具。

上面這張圖是Maxine的UCF（統一計算框架）簡化示意圖（有關UCF，參見另一篇文章），其中包括了不少AI模型，有括視覺、語音、動畫、語言、推薦系統等：要以比較高效的方式來同時跑這么多神經網絡，也就需要一個計算框架，即UCF。 

看來如此簡單的一個虛擬形象呈現，背后卻有這么多的技術。

機器人的進化

說完虛擬機器人，再來談談現實中的機器人。雖說現實中的機器人，與元宇宙構建似乎并無直接關聯，但它們也是元宇宙技術（或者至少是digital twin）的受益方。本文最后會捎帶談一談汽車，畢竟汽車也可以算作某種特定形態的機器人——但汽車并非本文要關注的重點。

有關英偉達的機器人平臺，此前我們多少也談到過Isaac SDK——是在前年的GTC上（Drive應該也可以算是個機器人平臺）。機器人應用這些年的發展也相當快，很多百貨大樓、購物中心、酒店都能見到機器人的身影。未來送貨機器人、倉儲搬運機器人、清潔機器人都會逐步更加普及。

英偉達嵌入與邊緣計算副總裁兼總經理Deepu Talla在演講中說，要打造一個機器人不光是硬件的問題，其中分成很多不同的層級。對于應用開發而言，首先機器人需要感知世界，并決策、行動。AI對于這個過程非常重要。

要訓練這些機器人，可以用Isaac Sim（機器人仿真器）來進行——類似于機器人在其腦中反復演練整個過程；用遷移學習的TAO工具套件，可做定制化訓練。隨后是對機器人的測試和驗證，測試過程也可用模擬方式來進行，而不需要在現實世界里實操。這樣一來，得到好多的機器人，那么就需要對機器人群體做管理，以及優化。與此同時，還需要與機器人做通訊：可能是通過計算機視覺或者其他人機界面（HMI），前文提到的Riva（以及更完整的Maxine）即是個例子……

上面這張圖給出了打造一個機器人，在應用開發層面需要做多少工作。這也是英偉達這些年在做的事情。

這次英偉達針對機器人的一些重要發布包括：

● 宣布推出Isaac Sim Replicator，這是前文提到Omniverse Replicator的組成部分。其價值就是自動生成合成數據（synthetic data），使用域隨機化引擎創建多樣的訓練數據集。這些數據能夠用來對機器人做AI訓練——加強機器人模擬和開發過程。Deepu特別談到，這些數據都是自動做了標記的（labeled）。而且用戶可以人為調整其中的一些因素，比如說調整機器人訓練環境中的燈光、攝像頭角度，以及放個額外的東西在旁邊。

● 宣布Isaac開始支持ROS（Robot Operating System）生態。Isaac runtime可以作為ROS框架中的組成部分。ROS開發者現在就可以用Isaac的算法和技術，相當于把Nvidia AI帶到了ROS。以前其實ROS基本上是個基于CPU的系統，不具備什么加速能力，所以Isaac ROS對ROS生態下的性能提升也算是個大跨步。這自然是英偉達擴張機器人生態的重要一步。

● 宣布推出Clara Holoscan，這是面向醫療設備領域的一款軟件定義、可編程影像平臺。黃仁勛說：“Holoscan是我們第三個機器人平臺。”另外兩個是Isaac和Drive。

● 隨Holoscan而來的，宣布推出AGX Orin傳感器處理機器人芯片（總算是有個硬件發布了）——Holoscan平臺就是由Orin和ConnectX-7組成的。AGX Orin預計將在明年1月發售。

簡單談談基于Orin芯片的這個Jetson AGX Orin。板子上的這顆芯片是由Ampere架構的GPU和Arm Cortex-A78 CPU（12核）組成；32GB LPDDR5 DRAM；INT8算力200TOPS；功耗區間15-50W；似乎也支持增加GPU來擴展算力。這個新系統應該是用來取代此前的Jetson Xavier的。

現階段已經有一些醫療儀器制造商開始構建支持Holoscan的前端傳感器了。（似乎也是得益于這次主題演講中反復提到的UCF統一計算框架）

黃仁勛總結機器人應用開發全過程大致分成3步：第一，訓練AI模型，讓機器人學會感知（Nvidia AI與DGX做續聯）；第二，在仿真過程中，訓練機器人進行操作或導航（以機器人的digital twin，進行Isaac Sim Omniverse仿真）；第三，在真實環境中操作機器人——在真實環境里進行實時感知、定位、地圖構建和規劃：AGX Orin在此刻發揮更大的作用。這是個完整的閉環，是為“端到端機器學習循環”。這也算是生態的威力吧。

回到digital twin、Omniverse和元宇宙的話題。最后值得一提的是，黃仁勛在主題演講末尾提到英偉達要搭建一臺超級計算機名為E-2，即Earth Two——作為“地球的數字孿生”。似乎Omniverse式的完整元宇宙已經不是那么遙遠了。點擊查看系列報道的另一篇文章《如何達成2.5億倍的性能提升？黃仁勛的“夸張”預言》。

簡單補充一下這次GTC上自動駕駛汽車相關的兩個發布：

● Hyperion 8正式推出，這是個AV平臺，傳感器套件包括12個攝像頭、9個毫米波雷達、12個超聲波雷達和1個前激光雷達，后端由2個Orin芯片來處理；英偉達表示從世界各地收集PB級的道路數據，而且配了3000名訓練有素的labeler，創建訓練數據——另外當然也搭配合成數據生成。

● 宣布推出Drive Sim Replicator，也就是合成數據生成器。和前文提到的Isaac Sim Replicator是同一個意思。英偉達在此強調和傳感器廠商的合作，為不同的傳感器做建模來輔助Replicator。

● 另外還有智能座艙中，Maxine可以發揮作用；以及英偉達組件的地圖構建團隊正在向全球擴展，同時進行測繪地圖構建（survey mapping）和車隊地圖構建（fleet mapping）。

責編：Luffy Liu