浙江大學楊華勇院士團隊在超分辨率觸覺感知領域實現突破

觸覺感知是機器人感知自身和環境的關鍵維度之一，能夠顯著提升機器人的作業精度和安全性，是新一代機器人系統不可或缺的組成部分。為了獲得更高精度以及更豐富的觸覺傳感信息，傳統方法需要在單位面積里集成盡可能多的觸覺敏感單元，實現硬件層面的空間分辨率提升。然而這種方式存在以下問題：1) 傳感器的空間分辨率受限于敏感單元的數量，并直接對制備和集成工藝提出了較高的要求；2) 高密度集成容易引起相鄰敏感單元之間的信號串擾且難以解耦；3) 大量敏感單元的信號采集和讀取線路錯綜復雜，直接影響傳感系統整體穩定性和可靠性。

針對上述問題，浙江大學流體動力基礎件與機電系統全國重點實驗室楊華勇院士團隊提出了一種深度學習驅動的觸覺感知增強方法，通過智能算法和傳感器硬件結構的軟硬件協同設計，基于稀疏硬件結構實現了超分辨率觸覺感知。相關研究以“Super-resolution tactile sensor arrays with sparse units enabled by deep learning”為題發表于國際知名學術期刊《Science Advances》。孔德朋博士為論文第一作者，楊賡研究員和徐凱臣研究員為論文通訊作者。本研究工作得到中國電子學會-騰訊RoboticsX犀牛鳥專項研究計劃資助，國家自然科學基金(No. 52375031, 52475610)、浙江省自然科學基金杰出青年基金(No. LRG25E050001)、浙江省自然科學基金重大項目(No. LDQ24E050001)的支持，同時聯合深圳市星源材質科技股份有限公司開展技術轉化推廣應用。

人體皮膚通過廣泛分布于其中的機械性刺激感受器（Mechanoreceptors, MRs）感知外界觸覺刺激，而神經系統通過綜合多個MRs的感知信息能夠實現對外界刺激的高精度定位，感知精度甚至超過MRs的空間分布密度，這一生理現象被稱為觸覺超分辨率（Tactile super-resolution）。受到這一啟發，本工作提出了一種人工觸覺超分辨率實現的軟硬件協同設計方法，通過觸覺傳感陣列拓撲結構的最優化設計以及深度學習驅動的感知增強，創新性地構造出一種硬件結構簡單但空間感知精度極高的觸覺傳感陣列。這種通過智能算法來提升觸覺傳感器感知精度的方法能夠有效降低傳感器的硬件復雜度，從而提升傳感系統整體可靠性和穩定性，對于推動高精度觸覺感知在機器人等場景的應用具有重要意義（圖1）。

感受野表征了一個敏感單元所能感知到的范圍，是將單個敏感單元集成為傳感陣列的重要依據。感受野的重疊是實現超分辨率觸覺感知的先決條件(圖2A)，充分利用這一性質有助于實現對感知資源的高效利用。基于此原理，本工作提出了一種能夠同時保證觸覺超分辨率實現和感受野最高效利用的陣列拓撲結構優化方法。以三個敏感單元為基本優化單元，借助于優化算法構建了能夠最大化整體感知資源利用率的基本拓撲結構(圖2B)；該結構保證了良好的可擴展性，可以通過拓展新的敏感單元實現對任意形狀表面的覆蓋(圖2C)，以提供觸覺感知功能。

人體皮膚超分辨率的實現不僅依靠相鄰MRs感受野間的重疊，神經系統的信號分析同樣發揮了重要作用。因此，本工作提出了一種能夠模仿這一功能實現中神經系統作用的深度學習模型(Self-Attention-assisted Tactile Super-resolution, SATS)，能夠實現面向于壓強分布推理的超分辨率觸覺感知(圖2D)。模型結構如圖2E所示，主要由時序編碼、信息聚合以及特征解碼等模塊組成。并且，本工作通過模型結構創新將整體壓強分布圖的構建拆分為若干局部壓力圖的構建，實現了超分辨率觸覺感知在多點接觸/面接觸場景下的有效應用。

基于上述軟硬件設計協同設計方法，制備了具有壓阻效應的功能材料和觸覺傳感單元(圖3A-D)，并依據上述拓撲尋優結果和實測感受野(圖3E)構建了一個具有23敏感單元的傳感陣列(圖3F)。該傳感陣列的有效感受野如圖3G-H所示，其對外界單點/多點刺激的響應特性如圖3I所示。

進一步設計了外力刺激實驗，并實時記錄了外力刺激過程中傳感陣列的響應信號，構建了數據集并完成了對傳感系統的標定。標定后，SATS模型能夠有效擬合各敏感單元的響應特性，使得傳感陣列對施加在不同位置處的外力推理具備了良好的一致性(圖4A)，對壓強分布的整體推理誤差平均為0.116 kPa (圖4B-D)。最終基于23個物理敏感單元生成了2700個虛擬的敏感單元，實現了約120倍的空間分辨率提升。借助于SATS模型的創新結構設計，該傳感系統在僅使用單點接觸數據標定后，能夠直接泛化到多點接觸場景中應用(圖4E-F)，且不需要額外的數據采集和模型的重新訓練。相比于僅能夠實現單點觸覺超分辨率的現有工作，本工作極大地提升了超分辨率觸覺感知的能力，擴展了其應用場景，對于推動高分辨率觸覺感知的應用和部署具有重要意義。視頻1展示了該傳感系統對外界刺激的實時在線推理。

借助于對外界刺激的高精感知能力，該傳感系統能夠適用于多種對空間分辨率具有高需求的應用場景，如圖4G展示了對兩個復雜輪廓上刺激點位的精準檢測識別。進一步將鍵盤微型化至傳感平面上的一個局部區域，實現了對按壓鍵位的精準檢測，完成了打字輸入以及計算器相關應用展示(圖5A，視頻2)。另外，該傳感系統能夠有效實現向機器人體表的集成并提供觸覺感知功能，提升人機交互的效率和智能化(圖5B)。本工作區分于現有觸覺超分辨率工作的一個重要特征在于其可以實現對壓強分布的連續檢測，因此能夠實現對接觸形狀的成像，進一步結合圖像分類算法最終實現了對5種接觸形狀的準確識別，識別準確率98.35% (圖5E-F，視頻3)。

本工作研究了計算觸覺的實現可行性并設計了一套面向超分辨率觸覺感知實現的軟硬件協同設計方法，使得即便是結構簡單的觸覺傳感器同樣能夠實現高空間分辨率的觸覺感知，能夠有效簡化觸覺傳感器的硬件結構，進而提升整體穩定性和可靠性。另外，所提出的軟硬件協同設計方法具有良好的可擴展性和普適性，能夠適用于具有不同感知機理的傳感器并實現超分辨率觸覺感知的功能。本工作另外研究了該設計方法在動態敏感場景下的應用可行性，以單電極摩擦納米發電機(TENG)為基本原理制備敏感單元，進而構建動態敏感觸覺傳感陣列。單電極TENG借助于其靜電感應機理能夠實現對輕微、動態刺激的快速響應，進而結合SATS模型的賦能，實現了對外界動態刺激的超分辨率感知。視頻4展示了該動態敏感觸覺傳感器對乒乓球彈跳軌跡的實時檢測，充分體現了其快速響應和高精度的特點。

總結來講，本工作所提出的觸覺超分辨率實現方法具備以下特點：

1) 軟硬件架構的普適性。適用于多種感知機理。

2) 感知資源利用的高效性。充分利用多敏感單元的感受野。

3) 傳感系統標定的便捷性。一次訓練，多場景部署應用。

該方法有助于推動高分辨率觸覺感知在多種機器人系統中的功能集成，對于提升機器人作業的安全性、自主性以及環境適應性具有重要意義。未來，將基于現有技術和方法面向機器人作業中的壓力感知、動態感知以及大面積感知開展進一步的研究工作。