SIGGRAPH2023|由RTX賦能的空間框架通過USD實現(xiàn)全光線追蹤XR流程

開發(fā)擴展現(xiàn)實（XR）應(yīng)用的難度極大。用戶通常會從一個模板項目入手，并按照現(xiàn)成的打包模板將應(yīng)用部署到頭顯。這種方法給資產(chǎn)迭代流程帶來了嚴(yán)重的阻礙。XR 體驗內(nèi)的資產(chǎn)更新完全取決于開發(fā)者構(gòu)建、打包和部署新的可執(zhí)行程序的速度。

NVIDIA Omniverse 中的全新空間框架通過通用場景描述（即 OpenUSD）和由 NVIDIA RTX 驅(qū)動的光線追蹤技術(shù)幫助解決了這些難題。全球首個全光線追蹤 XR 體驗由此誕生，它使用戶能夠查看其場景中的每一個反射、軟陰影、豐富的光線以及幾何體的動態(tài)變化。

現(xiàn)在，用戶可以對包含數(shù)百萬個多邊形、物理材質(zhì)和精確照明的大規(guī)模、復(fù)雜、全保真設(shè)計數(shù)據(jù)集進(jìn)行全光線追蹤，來身臨其境地體驗數(shù)據(jù)集，而無需耗費額外的數(shù)據(jù)準(zhǔn)備時間。

OpenUSD 可確保場景編輯不具有破壞性，從而實現(xiàn)不同工具和生態(tài)之間的無縫交互。Omniverse 可渲染和顯示磁盤上的 USD 數(shù)據(jù)，使用戶能夠以任意節(jié)奏迭代這些數(shù)據(jù)，并實時看到更新的資產(chǎn) XR 視圖。

因此，用戶可以沉浸式地體驗任意流程環(huán)節(jié)中的應(yīng)用，這大大減少了阻礙，提高了迭代速度。用戶甚至可以將 XR 集成到現(xiàn)有的流程中，并且毫不費力地實施。

該空間框架的主要特點包括：

• 用于添加沉浸式體驗和基本 XR 功能的新工具：簡化并提高了設(shè)計審查和工廠規(guī)劃的工作流效率。

• 將 RTX 光線追蹤和 Omniverse 連接到 SteamVR、OpenXR 和 NVIDIA CloudXR。

• 支持空間計算平臺和頭顯：Omniverse 用戶可以構(gòu)建與其他基于 OpenUSD 的空間計算平臺（如 ARKit 和 RealityKit）兼容的 USD stage。此外，新增加的對 Khronos Group OpenXR 開放標(biāo)準(zhǔn)的支持將 Omniverse 開發(fā)者的體驗擴展到 HTC VIVE、Magic Leap 和 Varjo 等制造商生產(chǎn)的更多頭顯。

Magic Leap 產(chǎn)品副總裁 Jade Meskill 表示：“NVIDIA 所發(fā)布的支持 OpenXR 和 Magic Leap 2 的 Omniverse Kit 是企業(yè) AR 領(lǐng)域的一座重要里程碑。企業(yè)用戶現(xiàn)在能夠以前所未有的視覺質(zhì)量，來渲染沉浸式全尺寸數(shù)字孿生，并將其從 Omniverse 傳輸至 Magic Leap 2。

Meskill 還表示，為了滿足企業(yè)應(yīng)用的高要求，在現(xiàn)實世界中放置基于全保真設(shè)計數(shù)據(jù)創(chuàng)建的逼真數(shù)字孿生并提供精準(zhǔn)的照明和反射必不可少。“NVIDIA 和 Magic Leap 工程團(tuán)隊在視覺質(zhì)量方面率先取得了關(guān)鍵性的技術(shù)進(jìn)展，我們十分高興兩家公司建立了牢固的合作關(guān)系。”

Omniverse 應(yīng)用開發(fā)者現(xiàn)在可以輕松地將 XR 集成到 3D 工作流中。Omniverse 中的這個新空間框架可實現(xiàn) 3D 場景的實時、沉浸式可視化。還可以將傳送、操作、導(dǎo)航等 XR 功能集成到現(xiàn)有流程中。

通過該空間框架，使用者能夠以混合現(xiàn)實或完全沉浸式的方式，跨設(shè)備查看工作資產(chǎn)。NVIDIA CloudXR 可提供逼真度堪比桌面計算的無拘束體驗。

使用者無需下載整個應(yīng)用，便可使用特定的擴展程序，讓工作流變得更加簡單和模塊化。自動用戶界面優(yōu)化功能提升了應(yīng)用的速度和生產(chǎn)力，使播放變得更加流暢。

此外，使用者還可以部署自定義 XR 應(yīng)用并為特定的工作流而設(shè)計用戶界面，例如協(xié)作產(chǎn)品設(shè)計評審、工廠規(guī)劃等。

通過 Omniverse Kit 105，可以創(chuàng)建具有極致沉浸感和逼真度的資產(chǎn)，并以全保真度構(gòu)建具有幾何構(gòu)造和材質(zhì)的超逼真應(yīng)用。

例如，Kit 105 可以在業(yè)內(nèi)分辨率最高的混合現(xiàn)實頭顯 Varjo XR-3 中，驅(qū)動達(dá)到視網(wǎng)膜級分辨率的 Quad View 渲染功能。該渲染器可生成兩個高分辨率視圖和兩個低分辨率視圖，然后由設(shè)備合成出無比逼真和沉浸的 VR 體驗。

Varjo 軟件合作關(guān)系總監(jiān) Marcus Olsson 表示：“實時光線追蹤是 3D 可視化的‘圣杯’。之前，我們因為圖形和計算方面的要求而無法渲染出像這樣逼真的沉浸式場景。通過 NVIDIA Omniverse 和 Varjo XR-3，用戶可以結(jié)合強大的多 GPU 配置和 Varjo 逼真的視覺保真度，在混合現(xiàn)實環(huán)境中實現(xiàn)實時光線追蹤。

Quad View 的渲染分辨率達(dá)到驚人的 1500 萬像素，將 XR 的視覺保真度提高到一個新的級別。如要充分利用達(dá)到視網(wǎng)膜級分辨率的 Quad View 渲染功能，團(tuán)隊?wèi)?yīng)使用配備 NVIDIA RTX 6000 Ada 顯卡的多 GPU 配置以在 Varjo XR-3 頭顯上實現(xiàn)無縫渲染和最優(yōu)性能。

準(zhǔn)備好開始使用 Omniverse Kit 105 在應(yīng)用中構(gòu)建 XR 并創(chuàng)造沉浸式體驗了嗎？該空間框架現(xiàn)在可以在 VR Experience 下的 Omniverse Extension Library 中使用。將該擴展程序添加到 Kit 應(yīng)用中，就可以使用 Tablet AR 和 VR 面板。該框架還帶有 Omni.UI，使用戶可以同時在頭顯和桌面中使用此前所開發(fā)的桌面工具和界面。

USD Composer 提供了一個在 Omniverse 中測試沉浸式體驗的良好平臺。USD Composer 是 Omniverse 中的一個參考應(yīng)用，用戶可以在其中輕松打開并制作一個 USD stage。請在 Omniverse 啟動器中安裝 USD Composer，以開始使用。?用戶可在 “Window” -> “Rendering” 菜單中找到 “VR” 和 “Tablet AR”。如果正與其他用戶一起工作，可以使用 USD Composer 多用戶工作流開展實時、沉浸式的合作。