基于FPGA的手勢識別的多功能機械臂

FPGA技術江湖 2024-04-20 07:29

瑞薩8月無線技術月，手把手帶你跑通第一個工程 【8/11日直播】搞PIC/CPO的工程師請進！如何做到“固化即永久”？

大俠好，歡迎來到FPGA技術江湖，江湖偌大，相見即是緣分。大俠可以關注FPGA技術江湖，在“闖蕩江湖”、"行俠仗義"欄里獲取其他感興趣的資源，或者一起煮酒言歡。

設計概述?

Design Introduction

1.1

設計背景

隨著信息技術的發展，人機交互技術逐漸由以鍵盤、鼠標等基于圖形用戶界面的方式，轉變為以模擬和類似人類感知傳輸的信息類型。其中，手勢識別因其具有的自然、直接、有效的交互特點，越來越受到研究人員的關注。傳統的手勢識別，需要借助配置有傳感器的手套來確定具體的手勢形態，成本高且操作不便，不具有推廣性。基于機器視覺的手勢識別技術，突破硬件局限，從模式識別算法層面革新人機交互方式，更適應未來人機交互發展趨勢。機械臂作為現代工業領域自動化智能加工中最常見的執行終端，通過各個關節的協調運動與機械末端的配合，可進行多自由度模擬仿真。通過對舵機進行控制設計，使機械臂能夠完成抓取分揀、連續動作，從而使其具有比人手更好的動作組合靈活性和指令完成準確性。

1.2

作品概述

本作品基于機器視覺，聚焦手勢識別，利用攝像頭獲取單目圖像信息，基于 PYNQ 實現手勢分割、手勢建模、手勢形狀特征提取，對八種不同手勢圖像進行識別，以舵機控制的機械臂模塊作為響應終端，借助手勢變化來控制機械臂執行兩種功能：一是按指令分揀物體，二是“井字游戲”人機大戰。

1.3?

應用領域

本作品將手勢識別作為人機交互方式，以機械臂作為響應終端，設計了兩種基于上述交互方式和響應終端的展示功能。按指令分揀物體，本質上是對機械臂進行開環控制，延長人手作用范圍，對于操控大型機械進行物體分揀的工業自動化領域或物流行業，都有極好的應用前景。“井字游戲”人機大戰，僅僅是將手勢識別結合機械臂控制、簡單的人工智能技術進行組合開發的例子，“手勢識別 +”的探索永無止境，在娛樂領域、醫療領域、教育領域、智能家居領域都有著廣泛的應用前景。?

系統組成及功能說明

System Construction & Function Description

2.1

系統組成

本系統以 Xilinx ZYNQ SoC 作為主控制芯片，分為處理器模塊、攝像頭模塊、顯示器模塊、舵機驅動模塊、通訊傳輸模塊。通過攝像頭模塊捕捉手勢圖像信息，在處理器模塊中完成手勢分割、手勢建模、手勢形狀特征提取、手勢識別，手勢識別的過程及結果通過顯示器展示，通過處理器內部不同功能的邏輯運算，將對應的動作指令通過相應的 PWM 信號輸出給各個舵機，驅動六自由度機械臂完成要求動作，從而實現對應的組合功能。

2.2

手勢識別核心算法

本作品所采用的是靜態手勢識別算法，算法核心主要由手勢特征分析、手勢特征建模及手勢識別三部分組成，整體框架如上圖所示。首先通過圖像采集設備來獲取手勢圖像，通過手勢建模將獲取的手勢圖像用數學模型描述出來，最后根據得到的手勢識別所需要的模型參量判別出具體的手勢形態。

2.2.1

圖像預處理

圖像預處理，由四個主要步驟組成，分別為定義識別區域、顏色空間轉換、膨脹處理、高斯濾波。定義識別區域，主要用來減小識別區域面積，從而提高識別效率。顏色空間轉換，通過將攝像頭捕捉到的 RGB 顏色空間下的圖像信息轉化為 HSV 顏色空間下的圖像信息，便利后續對背景和手部進行顏色分割。膨脹操作，使得識別區域高亮區域增長，消除手部內的噪聲點。高斯濾波，通過加權求和的方式，消除圖像內的高斯噪聲點。

2.2.2?

手勢分析

利用道格拉斯-普克（Douglas-Pucker）算法，將手部輪廓擬合為多邊形曲線，同時計算面積，以得到輪廓內手部面積最大的手部輪廓。在此基礎上，分別計算出輪廓總面積（areacnt）、輪廓中手的面積（areahull）、以及手的面積占輪廓總面積的百分比（arearatio）。與此同時，得到最大輪廓面積中的凸缺陷（即凹陷）數（defects），并通過計算凸缺陷中起始點、終點、離起始點終點連線最遠處的點構成的三角形的高（d）和頂角（angle）值，來去除因噪聲而得到的凸缺陷點，得到消除噪聲點后的凸缺陷數（l）。

2.2.3

手勢識別

由手勢分析后得到的模型參量通過上述手勢識別流程圖后，輸出“0”“1” “2”“3”“4”“5”“ok”“best of luck”八種手勢識別結果，以便后續對結果進行使用。

2.3

“井字游戲”人機大戰算法設計

2.3.1

游戲規則及數字化設置

游戲規則

游戲對戰的雙方執不同棋子，輪流在 3×3 的九宮格中落子，但凡在橫排、豎排、對角線上出現三子相同的情況，則執該子的一方勝。

數字化設置

現在對九宮格的九個位置編碼為九個二維坐標（x，y）（x=1，2，3；y=1， 2，3），并賦值為 1，效果如下圖所示。

一方執“0”，一方執“2”，落在哪個坐標位置上，就把那個坐標位置對應的值改為“0”或“2”。每次落子后，分別對每排、每列、每對角線上的三個值求和（和可取 0，1，2，3，4，5，6），如果出現“0”則執“0”的一方勝，如果出現“6”則執“2”的一方勝。

2.3.2

機器端落子優先級設計

假設人執“0”子，機器執“1”子

（1）中間、邊上、角上三種位置的獲勝方式分別為

所以優先落中間，其次落角上，最后落邊上。

（2）情況優先級

第一優先級：如果出現“1”，立即將（0，0，1）中的“1”置 2，攔截人勝利。

第二優先級：如果出現“5”，立即將（1，2，2）中的“1”置 2，機器取得游戲勝利。

第三優先級：如果出現“4”，且不是“死路”的情況，則將（1，1，2）中任意一個“1”置 2。

2.3.3

算法流程圖

2.4

模塊介紹

2.4.1

處理器模塊

本作品采用基于 ZYNQ-7020 芯片的 PYNQ-Z2 開發板進行系統開發。ZYNQ 分為 PS（Processing System）和 PL（Programmable Logic）兩部分，在 PS 上運行 Linux 操作系統，在 Linux 操作系統上運行 Python，通過調用 PYNQ 中的庫Overlay，對連接到 PS 端的接口進行解析，進而控制 FPGA 邏輯資源，加速系統數據處理。

對于本作品中所設計的基于機器視覺的手勢識別算法和“井字游戲”人機大戰算法，直接利用硬件語言進行編寫在邏輯上十分復雜，故采用 Python 進行編程實現，利用 FPGA 對圖像處理部分進行硬件加速，不僅提高了圖像處理速度，還更好地擴展了圖像應用。

2.4.2

攝像頭（圖像采集）模塊

本作品的手勢指令輸入由攝像頭采集完成。采用奧尼 C11 款的高清攝像頭對手勢進行畫面捕捉，通過 USB 完成圖像輸入。相比于傳統的傳感器手套對手勢姿態的采集，攝像頭減輕了硬件端的負擔，使得整個系統可推廣性更好。

2.4.3

機械臂（舵機）模塊

本作品使用的機械臂，是 Learm 公司開發的一款六自由度機械臂，能通過上位機對其進行動作設計，通過 PWM 控制舵機運轉，從而完成抓取和連續復雜動作兩種不同的模式功能。舵機（機械臂）模塊與處理器的模塊采用 UART 串行通信，采用下述通信協議進行指令交互。

2.4.4

顯示器（圖像輸出）模塊

采用顯示屏作為圖像輸出端，展示手勢識別圖像處理過程及結果，不僅利于過程中的算法調試與驗證，并且具有更好地視覺效果。

2.5?

功能說明

2.5.1

?手勢識別

本作品可以對常用的八種手勢進行識別處理，分別為“0”“1”、“2”、“3”、 “4”、“5”、“Best of luck”、“ok”。啟動系統后，在攝像頭端擺出相應手勢，及完成手勢輸入，顯示器會顯示出對應的識別結果。顯示器畫面，有矩形框定位識別區域，在該矩形框中會有多邊形框出手部輪廓，右上方會顯示識別結果。當識別區域沒有放入手進行識別時，顯示器畫面靜止。

2.5.2

?機械臂驅動

機械臂動作設計及存儲機制

機械臂內部封裝有存儲“動作組”的部件，用來存儲動作指令。用戶如果要進行動作設計，在機械臂通電的情況下，通過 USB 通信與電腦端上位機進行連接，在上位機中設置傳輸給六個舵機的 PWM 值，形成一個包含這個動作指令的 “動作組”，下載進存儲部件以便后續調用。

機械臂驅動機制

通過 UART（串口通信）的方式來調用“動作組”，進而驅動機械臂完成相應動作。這里需要注意的是，必須將處理器模塊與機械臂模塊進行“共地”操作，否則二者無法完成通信，機械臂不能按指令動作。

2.5.3

功能 1：按指令分揀物體

預設四個不同的區域，分別編號為“1”“2”“3”“4”，作為一組一維位置坐標。設計機械臂在四個不同區域內抓取、放開動作，共八個動作組。手勢輸入“ok”，告訴系統下一個輸入的是初始坐標。待控制板上亮起指示燈后，通過人眼觀測物體初始位置坐標，通過手勢輸入該坐標（可輸入“1”、“2”、“3”、“4”）。待控制板上亮起指示燈后，手勢輸入“5”，告訴系統下一個輸入的是初始坐標。待控制板上亮起指示燈后，通過手勢輸入目標位置坐標（可輸入“1”、“2”、“3”、“4”）。用戶端操作結束，發送指令給機械臂完成分揀全過程。機械臂依次完成抓取、移動、放下，即完成一次按指令分揀。

2.5.4

功能 2：“井字游戲”人機大戰

游戲規則參看“2.3‘井字游戲’人機大戰算法設計”。手勢輸入“ok”，告訴系統接下來輸入人落子的坐標區域（x，y）。待控制板上亮起指示燈后，手勢輸入“5”，告訴系統接下來輸入橫向坐標（可輸入“1”、“2”、“3”），待控制板上亮起指示燈后，輸入縱向坐標（可輸入“1”、“2”、“3”）。用戶端操作結束，可以發送指令給機械臂完成人落子的操作，機械臂完成在棋盤上的人落子操作后，繼續完成機器落子操作。依次進行下去，直至出現有一方勝利。亮紅燈表示“人贏”，亮綠燈表示“機器贏”，亮白燈表示“平局”。

作品成效總結與分析

Summary?and?Analysis?of?the?Effect?of the Works

3.1

系統測試性能指標

3.1.1

手勢識別

本作品算法下的手勢識別功能，在 FPGA 加速下能較好地平衡識別次數和識別時間的沖突。根據測試結果，本作品取 60 作為整個作品的手勢識別循環次數。

3.1.2

機械臂驅動

機械臂能通過用戶端“動作組”的設計，進行抓取、移動等連續復雜動作，具有很好的靈活性。作為機電設計的響應終端，能很好地完成多種功能的指令要求。

3.1.3

?按指令分揀物體

“按指令分揀物體”能很好地完成初始坐標輸入、目標位置輸入，同時能在較短的時間內快速完成抓取與投遞。

3.1.4

“井字游戲”人機大戰

“井字游戲”算法能很好地遍歷所有可能結果，所以人和機器對戰只會出現 “平局”、“機器贏”兩種結果。并且，較為穩定、準確的機器識別以及人工智能算法，能夠使整個游戲流暢進行。“手勢識別”結合“機械臂”具有很強的視覺觀賞性，與此同時，游戲的模式使整個功能更具有趣味性。

3.2?

成效得失對比分析

本作品整體而言，不僅將手勢識別功能實現，還在此基礎上結合機械臂運動特點進行了多功能開發，總體完成度較高，視覺效果較好，兼具靈活性、趣味性及可拓展性。開發本作品采用的手勢識別算法，為了得到較高的識別精度，必須要以延長識別時間、增加單次識別次數作為犧牲，使得在應用開發時增加較多的時間負擔，不能夠凸顯人機交互的便利性。從手勢識別算法及對識別結果的處理技術層面出發，整個作品還有較大提升空間。

3.3?

創新特色總結展望

本作品使用最新的基于機器視覺的手勢識別技術作為人機交互方式，革新人機交互的使用體驗，具有極佳的技術前瞻性。使用機械臂作為執行終端，貼近目前工業設計的最新潮流。在設計功能時，基于數學建模，設計出更具有人機互動性質的小游戲，體現人工智能的靈活與智慧。

機電一體化開發，充分發揮基于 Python 編程的代碼靈活的特點，以實現復雜算法，利用 FPGA 硬件加速的優勢，提高視覺處理速度。

在本作品的基礎上，優化識別算法，加快識別速度，提高識別精度，“手勢識別+”將在未來發揮出自身更強的優勢，在教育領域、娛樂領域、工業領域、醫療領域、智能家居領域都具有越來越廣闊的應用前景。

- THE END -