【光電智造】基于視觸覺(jué)傳感器與深度學(xué)習(xí)的多模式觸覺(jué)感知系統(tǒng)

----與智者為伍 為創(chuàng)新賦能----

近日，華南師范大學(xué)的李昕明團(tuán)隊(duì)研究了一種基于視覺(jué)的多模態(tài)觸覺(jué)感知系統(tǒng)。傳統(tǒng)的多模態(tài)/多任務(wù)觸覺(jué)感知系統(tǒng)通過(guò)集成多種傳感單元來(lái)達(dá)到多模態(tài)觸覺(jué)信息的解耦，但其往往導(dǎo)致系統(tǒng)結(jié)構(gòu)的復(fù)雜性，以及需要應(yīng)對(duì)來(lái)自不同刺激間的干擾。相對(duì)地，基于視覺(jué)的觸覺(jué)傳感器能夠利用各種光學(xué)設(shè)計(jì)來(lái)感知多種觸覺(jué)信息，但隨著所需接觸信息維度的增加，這就需要為不同的接觸刺激采用特定的光學(xué)設(shè)計(jì)和信息解耦策略。針對(duì)上述挑戰(zhàn)，李昕明團(tuán)隊(duì)提出了基于視覺(jué)的觸覺(jué)傳感系統(tǒng)，將觸覺(jué)信息轉(zhuǎn)換為視覺(jué)信號(hào)，并進(jìn)一步設(shè)計(jì)了一個(gè)能夠解耦多種接觸信息的深度神經(jīng)網(wǎng)絡(luò)模型。得益于視觸覺(jué)圖像的高密度特征，這種方法避免了為各種觸覺(jué)模態(tài)定制解耦設(shè)計(jì)的需求，從而實(shí)現(xiàn)了更為高效的多模態(tài)觸覺(jué)信息的提取。

在系統(tǒng)的驗(yàn)證中，該技術(shù)實(shí)現(xiàn)了與人類(lèi)觸覺(jué)類(lèi)似的微米級(jí)空間分辨率。引入神經(jīng)網(wǎng)絡(luò)后，模擬抓取實(shí)驗(yàn)顯示系統(tǒng)在力學(xué)識(shí)別上的平均絕對(duì)誤差為0.2N，而在姿態(tài)角度識(shí)別上的誤差為0.41°。此外，在物體定位和分類(lèi)上也表現(xiàn)出了優(yōu)異的性能。該系統(tǒng)有潛力在生物醫(yī)學(xué)和機(jī)器人技術(shù)等多模態(tài)觸覺(jué)感測(cè)任務(wù)中得到廣泛應(yīng)用。相關(guān)研究以”A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network” 為題發(fā)布在預(yù)印本平臺(tái)http://arxiv.org/abs/2310.01986。

來(lái)源：新機(jī)器視覺(jué)

?

----與智者為伍?為創(chuàng)新賦能----

投稿丨合作丨咨詢(xún)

聯(lián)系郵箱：uestcwxd@126.com

QQ：493826566