初創(chuàng)加速計劃 | NVIDIA 助力湯元科技，借助 Cosmos 推動物理 AI 與智能駕駛數(shù)據(jù)生成

湯元科技成立于 2024 年 3 月，是一家專注于“世界模型 + AI”的創(chuàng)新型科技公司，致力于實現(xiàn)真實物理世界的三維重建與數(shù)據(jù)生成，推動物理 AI 的發(fā)展。公司核心業(yè)務(wù)是利用路側(cè)傳感器信息，將物理世界的全要素數(shù)字化重建，并以此構(gòu)建高質(zhì)量、可泛化的訓(xùn)練數(shù)據(jù)，服務(wù)于自動駕駛和具身智能等前沿領(lǐng)域。

在智能駕駛方向，湯元科技推出了自研的“Yootta 數(shù)據(jù)平臺”，基于“Real2Sim2Real”的三維重建與視頻擴(kuò)散生成框架，將城市級多源感知數(shù)據(jù)自動化轉(zhuǎn)化為多樣化、高保真、結(jié)構(gòu)一致的車側(cè)視角訓(xùn)練數(shù)據(jù)。該框架能夠涵蓋不同天氣、光照、道路結(jié)構(gòu)等復(fù)雜場景。

傳統(tǒng)三維重建受限于視角和環(huán)境，往往存在天空信息缺失及復(fù)雜場景泛化不足等問題。湯元科技通過引入 Cosmos，實現(xiàn)了缺失信息補(bǔ)全、多樣化視角生成與復(fù)雜環(huán)境的泛化，為“感知在環(huán)”訓(xùn)練奠定了技術(shù)基礎(chǔ)。

左圖為通過路側(cè)相機(jī)重建后渲染的車端視角視頻，天空因視角受限而缺失；右圖為經(jīng) Cosmos 補(bǔ)全天空等缺失信息后，呈現(xiàn)完整場景。

面對上述挑戰(zhàn)，湯元科技自研“Real2Sim2Real”三維重建與視頻擴(kuò)散生成框架，構(gòu)建了以 3D Gaussian Splatting 為核心、動靜分離建模為支撐的四維動態(tài)重建能力。通過對靜態(tài)背景與動態(tài)物體的時序建模與融合，確保重建結(jié)果具備空間一致性與時間連續(xù)性。同時，結(jié)合 Cosmos，實現(xiàn)了缺失信息補(bǔ)全、多樣化視角生成和復(fù)雜環(huán)境泛化，突破了傳統(tǒng)數(shù)據(jù)生成的瓶頸。相較于傳統(tǒng)采集方式，湯元科技的解決方案在三個維度實現(xiàn)了顯著提升：

1. 基于 Cosmos 的物理級光影建模，提升視覺真實感

利用 Cosmos 引擎，湯元科技在構(gòu)建 4D 動態(tài)場景時實現(xiàn)了跨時間幀一致的光照與材質(zhì)表現(xiàn)，顯著解決了傳統(tǒng) 4D 合成中光影不自然與材質(zhì)漂移的問題，極大增強(qiáng)了視覺擬真度。

4D 資產(chǎn)重建常因相機(jī)參數(shù)誤差、稀疏視圖和曝光不一致而導(dǎo)致質(zhì)量下降。為此，湯元科技在初始車輛模型的 360 度環(huán)視范圍內(nèi)采樣虛擬視角，并借鑒 NVIDIA 擴(kuò)散模型思路進(jìn)行修復(fù)；修復(fù)后的視角圖像進(jìn)一步用于訓(xùn)練 3D Gaussian Splatting（3DGS），從而提升車輛重建的幾何精度與外觀一致性。

2. 修復(fù)時空漂移，顯著提升重建質(zhì)量

針對 4D 重建中的跨幀結(jié)構(gòu)漂移與紋理不一致問題，湯元科技結(jié)合 Cosmos-Transfer1-7B-Sample-AV 模型與擴(kuò)散模型，進(jìn)行了校正優(yōu)化。在實際評估中，圖像質(zhì)量指標(biāo)實現(xiàn)了大幅提升：

• PSNR（峰值信噪比，Peak Signal-to-Noise Ratio）從 25.6 提升至 35.9

• SSIM（結(jié)構(gòu)相似性指標(biāo)，Structural Similarity Index Measure）從 0.68 提升至 0.91

• NTA-IoU（用于評估新視角的時空一致性，Novel Trajectory Agent IoU）從 0.613 提升至 0.804

• LPIPS（感知相似性指標(biāo)，Learned Perceptual Image Patch Similarity）從 0.137 降低至 0.021

• FID（衡量生成圖像與真實圖像整體分布差異的指標(biāo)，F(xiàn)rechet Inception Distance）從 130.4 降低至 23.1

3. 高質(zhì)量大規(guī)模風(fēng)格遷移，實現(xiàn)數(shù)據(jù)泛化

通過 Cosmos 的風(fēng)格遷移能力，湯元科技在保持空間結(jié)構(gòu)穩(wěn)定的前提下，生成了多樣性極高的圖像樣本，實現(xiàn)超過 10 倍的數(shù)據(jù)增強(qiáng)效率。該能力有效覆蓋了雨天、雪天、黃昏等邊緣駕駛場景，極大拓展了模型的風(fēng)格學(xué)習(xí)空間，顯著提升了感知模型的泛化性能。

4. 打破“感知訓(xùn)練不在環(huán)”傳統(tǒng)限制，實現(xiàn)“數(shù)據(jù)與模型”協(xié)同進(jìn)化

傳統(tǒng)感知模型的訓(xùn)練通常依賴于預(yù)先采集的靜態(tài)離線數(shù)據(jù)集，這種離線訓(xùn)練方案難以適配 VLA（Vision-Language-Action）、RL（Reinforcement Learning）等需“感知在環(huán)”的模型。對此，湯元科技基于 Cosmos 構(gòu)建的可交互式訓(xùn)練數(shù)據(jù)平臺，提出了針對性解決方案：通過對真實物理世界進(jìn)行 4D 重建，可實時渲染生成任意新視角的傳感器數(shù)據(jù)，從而精準(zhǔn)滿足“感知在環(huán)”對動態(tài)、多維度感知輸入的核心需求。該方案突破了傳統(tǒng)離線數(shù)據(jù)的局限，推動了需要與動態(tài)環(huán)境持續(xù)交互的智能駕駛相關(guān)模型（如 VLA、RL）的研發(fā)進(jìn)程。

借助 Cosmos 平臺，湯元科技極大地提升了物理世界重建與泛化過程中的效率與精度。湯元科技還是 NVIDIA 初創(chuàng)加速計劃的成員企業(yè)，得到了該項目的全方位支持。在技術(shù)方面，通過對 NVIDIA OpenUSD 課程的學(xué)習(xí)，提升了生成式模型構(gòu)建與模塊化 3D 資產(chǎn)利用能力。在市場與生態(tài)層面，通過參與 NVIDIA 初創(chuàng)加速計劃的活動與演講，不僅展示了技術(shù)實力，還拓展了合作伙伴網(wǎng)絡(luò)，進(jìn)一步提升了在世界模型與自動駕駛訓(xùn)練數(shù)據(jù)領(lǐng)域的影響力。