初創(chuàng)加速計劃|帕西尼感知科技基于NVIDIAIsaac實現(xiàn)觸覺模態(tài)的加速訓練與部署

觸覺的雙向交互性對人類意義重大，讓我們感知自身存在，幫助我們完成各種復雜任務。同樣的，具身智能體也必須依靠觸覺感知才能實現(xiàn)精巧、實時的反饋。高精度的觸覺感知，一直都是具身智能領域極為關鍵和稀缺的模態(tài)，智能通用化能力是限制人形機器人規(guī)模化和商業(yè)化的瓶頸所在，在通往具身智能的道路上依然需要克服的幾大挑戰(zhàn)：

一是傳感數(shù)據(jù)仿真模型的參數(shù)優(yōu)化和輕量化，主要挑戰(zhàn)在于構建陣列式觸覺傳感器的計算物理和計算力學模型，該模型需要在邊緣側以毫秒量級處理近萬個獨立參數(shù)，并在服務器端實現(xiàn)高速仿真和求解。此外，模型還需進一步突破材質紋理、摩擦系數(shù)、熱導系數(shù)等感知執(zhí)行邊界的限制。物理模型參數(shù)的快速優(yōu)化計算和輕量化是實現(xiàn)復雜物理交互，適應更廣泛應用場景和任務需求的重要前提；

二是觸覺模態(tài)和多模態(tài)模型構建和調(diào)優(yōu)，主要挑戰(zhàn)在于整合多模態(tài)數(shù)據(jù)提供的特征集，增強機器人任務執(zhí)行時對環(huán)境上下文的理解，并在此基礎上實現(xiàn)高效的規(guī)劃、決策和執(zhí)行，從而指導機器人完成復雜的閉環(huán)任務。這需要處理包括圖像、三維視覺、觸覺和文字標注在內(nèi)的高維度異構數(shù)據(jù)，涉及跨模態(tài)表示學習、融合網(wǎng)絡設計以及聯(lián)合訓練與優(yōu)化等算法策略。這些策略通常依賴于具備高吞吐量的算力支持，以實現(xiàn)并行計算任務的高效調(diào)度與執(zhí)行，提高模型的訓練和推理效率，從而提升任務執(zhí)行的智能化水平；

三是人形機器人學習技能訓練與應用，主要挑戰(zhàn)在于實現(xiàn)虛擬數(shù)據(jù)采集和真實數(shù)據(jù)精調(diào)。訓練數(shù)據(jù)和訓練場地的局限使得難以低成本、系統(tǒng)化地擴展機器人的數(shù)據(jù)集，當前的數(shù)據(jù)集仍難以滿足產(chǎn)業(yè)化需求中的泛化能力要求。這涉及到如何高效地收集、整合和利用來自虛擬仿真環(huán)境和真實物理世界的海量數(shù)據(jù)，以及如何實現(xiàn)不同機器人本體之間的數(shù)據(jù)共享和協(xié)同，從而為模型訓練和優(yōu)化提供充足且多樣化的數(shù)據(jù)支持。

基于以上挑戰(zhàn)，帕西尼感知科技選擇采用 NVIDIA GPU 作為硬件基礎，結合?NVIDIA Omniverse?生態(tài)系統(tǒng)提供支持，為產(chǎn)品矩陣和業(yè)務能力帶來提升和優(yōu)化。

1. 帕西尼感知科技選擇采用 Isaac Sim 仿真開發(fā)平臺，實現(xiàn)自研高效多物理系統(tǒng)的模擬和參數(shù)辨識。Isaac Sim 集成的統(tǒng)一剛體求解器，結合 NVIDIA Warp 框架支持下的柔性體快速求解器，在仿真過程中對剛體和柔性體進行協(xié)調(diào)優(yōu)化，從而高效處理模擬傳感器與不同材質物體接觸時的復雜動力學行為。同時，帕西尼利用 CUDA 加速了自研快速超彈性材料的參數(shù)辨識和有限元正算仿真和接觸計算。這不僅減少了對真實物理環(huán)境和硬件升級的依賴，還大幅縮短了解耦算法的調(diào)試和優(yōu)化周期，將開發(fā)周期從數(shù)月縮減至幾周，成本效益顯著提升約 40% 以上。

   
   

2. 帕西尼感知科技選擇采用 NVIDIA GPU，其高性能架構和特性高度契合多模態(tài)大模型訓練所需的并行計算能力。NVIDIA GPU 的高顯存容量和帶寬，能夠滿足訓練與優(yōu)化過程中大量存儲模型參數(shù)、中間計算結果和數(shù)據(jù)集的需求。在高數(shù)據(jù)吞吐量下，能夠實現(xiàn)低延遲，通過 CUDA 工具充分調(diào)用與執(zhí)行 NVIDIA GPU 的計算資源，將圖像特征提取、文本編碼和模態(tài)融合等任務并行化執(zhí)行。借助 GPU 并行優(yōu)勢，進一步加速深度學習算法的執(zhí)行效率，在成本僅增加約 50% 的情況下，模型訓練提速近 100 倍。

   
   

3. 帕西尼感知科技選擇采用 Isaac Lab 支持大規(guī)模機器人仿真。采用 Isaac Lab 仿真開發(fā)平臺，高效構建人形機器人的數(shù)字孿生，通過 GPU 加速高度逼真的物理模擬、實時渲染、深度強化學習（RL）模仿學習（IL）集成等先進技術，在虛擬環(huán)境中復現(xiàn)真實機器人的運動、感知和交互過程等，實現(xiàn)虛實融合與多本體融合數(shù)據(jù)共享和協(xié)同，從而提高模型的泛化能力和適應性。避免物理硬件的損壞和高昂的實驗成本局限。在數(shù)據(jù)方面，Isaac Lab 支持數(shù)據(jù)增擴，能有效生成和收集機器人在虛擬環(huán)境中的各類數(shù)據(jù)。同時，它還可通過連接外設進行虛擬遙操作，豐富訓練數(shù)據(jù)，進一步提升機器人在不同場景下的泛化能力。在 Isaac Lab 的加持下，提高訓練效率約至 100 倍，為機器人學習技能訓練與應用提供了強有力的支持，快速打開并擴展應用場景。

在 NVIDIA GPU 和 SDK 生態(tài)的共同支持下，帕西尼得以迅速完成從傳感計算、觸覺多模態(tài)數(shù)據(jù)集到具身智能模型的全鏈路落地，觸覺傳感器、靈巧手、機器人和算法方案得以快速服務到眾多客戶。目前，帕西尼感知科技已經(jīng)成為國內(nèi)知名的高精度多維觸覺傳感器研發(fā)企業(yè)，依托 NVIDIA 開發(fā)平臺和算力的全棧式軟硬件生態(tài)體系，為人形機器人提供“大腦”，形成人形機器人訓練提升的良性循環(huán)，實現(xiàn)智能化水平的快速升級。

帕西尼感知科技依托 NVIDIA 軟硬件解決方案，特別是高性能 AI 加速集群算力技術，實現(xiàn)了海量觸覺數(shù)據(jù)的高速運算與算法優(yōu)化。這一技術支撐使帕西尼感知科技在觸覺傳感技術領域處于行業(yè)領先地位。

帕西尼感知科技 CEO 許晉誠博士表示：在具身智能的發(fā)展進程中，人形機器人正快速進入“多模態(tài)感知 2.0”時代。精細觸覺感知能力作為實現(xiàn)高級交互與自主行動的關鍵要素，成為行業(yè)競爭焦點。帕西尼感知科技在“多維度多陣列觸覺感知”領域大幅提升了觸覺傳感器的靈敏度與精度。NVIDIA 憑借強大的 GPU 矩陣和 AI 加速解決方案，構建起從芯片到算法的全棧生態(tài)體系，為帕西尼感知科技提供了底層算力支持。在此基礎上，帕西尼的觸覺傳感器能夠在毫秒級時間內(nèi)完成數(shù)據(jù)的捕捉、解析與反饋，為算法模型的持續(xù)迭代優(yōu)化提供動力，有力推動了人形機器人觸覺技術的發(fā)展。

機器人及自動化設備一直以來缺乏完善的觸覺感知能力，只有依靠多維度觸覺傳感器，才能更大程度提升機器人及設備對環(huán)境的感知能力，從而能夠更好與物理世界進行交互，協(xié)助人類執(zhí)行更多重要的任務。

許晉誠博士表示：“我們帕西尼作為觸覺傳感領域的佼佼者，深知與頂尖技術伙伴攜手共進的重要性。NVIDIA 作為全球領先的 AI 計算平臺提供商，為我們提供了高性能的 AI 加速集群算力，將‘多維陣列觸覺傳感算法’和‘觸覺模態(tài)模型’發(fā)揮到極致。”

*本文圖片由帕西尼感知科技制作，如果您有任何疑問或需要使用此圖片，請聯(lián)系帕西尼感知科技。

NVIDIA 初創(chuàng)加速計劃

NVIDIA 初創(chuàng)加速計劃 (NVIDIA Inception)?為免費會員制，旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計劃聯(lián)合國內(nèi)外知名的風投機構、創(chuàng)業(yè)孵化器、創(chuàng)業(yè)加速器、行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣、技術支持、市場宣傳、融資對接、業(yè)務推薦等一系列服務，加速創(chuàng)業(yè)公司的發(fā)展。

想獲得 NVIDIA 初創(chuàng)加速生態(tài)助力？掃描下方二維碼，僅需一分鐘填寫意向申請表單，獲得快速聯(lián)系。