[发明专利]一种视觉手势识别系统识别方法

权利要求书

1.一种视觉手势识别系统识别方法，其特征在于步骤如下：

(1)调用摄像头获取当前手势图片并传入手掌检测模块，对输入图像中是否存在手掌进行检测，若当前输入图像中存在手掌，通过矩形框描述输入图像的对应区域，则进入步骤(2)；

(2)将当前输入图像发送至手部关键点检测模块，通过直接坐标预测的方式，识别21个3D手部骨骼关键点坐标；

(3)将步骤(2)中所得的手部骨骼关键点坐标发送至手势识别器，根据识别所得关键点坐标信息及预设定义的手势关键点信息相比较，进行手势识别，并将识别到的手势输出至显示屏幕上。

2.根据权利要求1所述的一种视觉手势识别系统识别方法，其特征在于：

所述步骤(1)中，对手掌进行检测具体为：

通过对输入图像进行灰度检测，获取Rect区域，并对Rect区域中的MAX_NUM帧的检测结果进行聚类，确定输入图像中是否存在手掌，并通过矩形框画出存在手掌情况下的聚类结果。

3.根据权利要求2所述的一种视觉手势识别系统识别方法，其特征在于：

所述步骤(1)中，通过忽略矩形框的长宽比描述输入图像的对应区域以减少anchors的数量，其中anchors用于记录在手掌检测模块中，对输入图像里手掌所在位置进行预测时的响应区域。

4.根据权利要求3所述的一种视觉手势识别系统识别方法，其特征在于：

所述步骤(2)中，于手部关键点检测模块中识别手部骨骼关键点坐标，所述手部关键点检测模块中，建立有手部关键点检测模型，手部关键点检测模型的建立方法具体为：

手动标注指定数量范围的具有手部骨骼关键点坐标的真实图像，并于各种背景下进行渲染，获取合成手部节点图像，当手部关键点检测模块接收到输入图像时，将输入图像与合成手部节点图像共同进行识别并提取手部骨骼关键点坐标，以降低平均回归误差。

5.根据权利要求4述的一种视觉手势识别系统识别方法，其特征在于：

所述21个3D手部骨骼关键点坐标包括x，y，z的21个三维坐标，存储于21*3的数组中，x，y为输入图像的高度与宽度于[0,1]范围内归一化后坐标，z为地标深度。

6.根据权利要求5述的一种视觉手势识别系统识别方法，其特征在于：

所述步骤(3)中，预设定义的手势关键点信息通过预设手势的关键点坐标特征，提取关键节点位置信息确定，预设定义的手势关键点信息为21*3的数组或针对指定数量的关键节点位置的三维坐标确定。

7.根据权利要求6述的一种视觉手势识别系统识别方法，其特征在于：

所述步骤(3)中，将识别到的手势输出至显示屏幕上，以txt文本的形式显示于显示屏幕上的预设位置。

8.根据权利要求7述的一种视觉手势识别系统识别方法，其特征在于：

所述txt文本内容随识别到的手势变化，若当前输入图像未能检测到手掌，则显示屏幕上预设位置输出未检测到手部，若当前输入图像检测到手掌但无手势，则于屏幕上输出指定符号表示。