[发明专利]一种3D手势识别方法

说明书

技术领域

本发明涉及计算机视觉和人机交互领域，具体涉及一种3D手势识别方法。

背景技术

随着计算机技术的发展，人机交互已成为了人们生活中不可或缺的部分，但大部分交互都是基于鼠标、键盘、手持设备及窗口界面的二维交互技术，如何让交互变得更加自然近年来成为研究热题。手势作为人类交互的主要手段之一，历史甚至早于有声语言，所以使用手势作为人机交互会更为友好、方便、简洁、直观，很自然成为传统人机交互的一种扩充。要识别手势首先要感知，现有三种感知手势的传感装置：基于手持设备的传感装置，比如微软的数字手势环、红外手势感知系统；基于触摸的传感装置，比如iPhone；基于视觉的传感装置，比如TOF摄像机、Kinect。

发明内容

本发明的目的在于提供一种3D手势识别方法，解决现有的人机交互方法不够方便快捷，以及在复杂的环境下无法实现的问题。

为解决上述的技术问题，本发明采用以下技术方案：

一种3D手势识别方法，包括以下步骤：

步骤一，从图像输入设备获取RGB图像和深度图像作为训练样本；

步骤二，通过设定自适应动态深度阈值进行人手的检测和分割；

步骤三，通过图像形态学操作去掉手臂，获取手掌中心位置；

步骤四，通过边缘提取得到手势轮廓，并利用时间序列曲线描述手势轮廓；

步骤五，通过图像形态学操作获得手势中指尖位置及手指连接点的位置，在时间序列曲线的对应位置上进行曲线的分割，并对手指的时间序列曲线进行特定的组合得到手指描述器特征向量；

步骤六，将手势训练样本中的每一类分别表示成一个手指描述器特征矩阵；

步骤七，通过图像输入设备实时获取RGB图像和深度图像，执行步骤二～步骤五将实时输入的手势表示成一个手指描述器特征矩阵；

步骤八，将步骤七得到的手指描述器特征向量，与步骤六中得到的特征矩阵进行图像到类的动态时间规整分类处理，最后得到手势识别结果。

更进一步的技术方案是，所述步骤二中，通过假设手为最前方的物体，设定自适应动态阈值：具体是利用二值化的方法通过自适应动态阈值分隔人手和背景，得到二值化的手势图。

更进一步的技术方案是，所述步骤三中，通过图像形态学操作去掉手臂，获取手掌中心位置，具体是检测出手臂轮廓，选择其上的极小值点作为手腕位置，去掉手腕以下的部分，对剩下的图像作腐蚀、膨胀去掉手指得到手掌，计算手掌几何中心。

更进一步的技术方案是，所述步骤四中，通过边缘提取得到手势轮廓，具体是以手掌几何中心位置，手掌外接圆为半径画圆，覆盖二值图中的手掌，得到手势二值图，对手势二值图提取边缘，得到手势轮廓图。

更进一步的技术方案是，所述步骤四中，利用时间序列曲线描述手势轮廓，具体是通过对轮廓顶点的角度和距离的计算获得数据中蕴含的与形状相关的有用信息，并描绘成时间序列曲线，实现形状特征的提取。例如手掌中心点为P₀，轮廓初始点为P₁，轮廓顶点为P_i(i＝2,...,n)，则可得角度∠P₁P₀P_i=<P₀P₁,P₀P_i>,(i＝2,...,n)，角度做360°的归一化后作为时间序列曲线的横坐标；轮廓顶点与手掌中心点的欧氏距离|P₀P_i|作为时间序列曲线的纵坐标，利用公式|P₀P_i|=|P₀P_i|/max{|P₀P₁|,|P₀P₂|,...,|P₀P_n|}对距离作归一化，得到能过描述手势轮廓的时间序列曲线。