[发明专利]一种视觉手势识别系统识别方法

说明书

一种视觉手势识别系统识别方法，利用手掌的刚性特征设计了一个手掌检测模块对当前图像中是否存在手部进行检测；检测到当前图像存在手部后，在检测到的手部区域内定位了21个3D手部骨骼关键点坐标；根据得到的关键点之间的位置关系识别具体手势。相较于触控按键方式可以实现无接触的人机交互，为人机交互提供了新的方案。

技术领域

本发明涉及一种视觉手势识别系统识别方法，属于人工智能图像识别领域。

背景技术

当前最为主流的人机交互方式是通过触控或按键进行操作，然而在某些特殊情况例如太空中的失重环境下，触控和按键的交互效果并不能满足对于准确性的要求。而基于视觉的手势识别系统能够使操作者徒手以更加自然的方式进行人机交互，它操作方便且相较于传统触控方式对于软硬件性能并未有过高的要求，是未来人机交互的一个重要发展趋势。手势识别技术是各技术领域和应用平台上改善用户体验的关键技术之一。手势识别是手语理解和手势控制的基础，它还可以在增强现实(AR)中将虚拟的数字内容叠加到真实的物理世界之上。

随着机器学习的发展以及硬件设备算力的提升，针对手势识别应用的设计也逐渐增多。当前采用最为广泛的手势识别的实现方案是在定义某一手势后通过大量人工采集和标注形成相关的数据集，而后通过模型训练形成对应的手势模板。当摄像头等传感器接收到输入图像时，将当前采集到的输入图像与模板进行比较，最终得到与输入图像匹配的手势结果。例如，中国专利公开号CN108596079B，公开日是2021年6月15日，名称为“手势识别方法、装置及电子设备”中公开了一种手势识别的方法，该方法是将将获取到的用户手势图像与手势模板中的图像组进行比较，根据确定出的相似度确定待识别的手势图像对应的手势。这种方法是一种应用较为广泛的图像识别方法，虽然可以通过多张手势模板图像的使用来提高手势识别的准确率，但其不足之处是：用户输入图像只能是对应手部图像，当输入图像中出现其它人体躯干部位时，势必导致识别的准确率下降，且每次需要添加新的手势动作时，都需要对手势模板图像进行扩充与重训练，降低了系统的灵活性。

发明内容

本发明解决的技术问题是：针对目前现有技术中，现有手势识别技术只能识别手部图像、识别准确率低的问题，提出了一种视觉手势识别系统识别方法。

本发明解决上述技术问题是通过如下技术方案予以实现的：

一种视觉手势识别系统识别方法，步骤如下：

(1)调用摄像头获取当前手势图片并传入手掌检测模块，对输入图像中是否存在手掌进行检测，若当前输入图像中存在手掌，通过矩形框描述输入图像的对应区域，则进入步骤(2)；

(2)将当前输入图像发送至手部关键点检测模块，通过直接坐标预测的方式，识别21个3D手部骨骼关键点坐标；

(3)将步骤(2)中所得的手部骨骼关键点坐标发送至手势识别器，根据识别所得关键点坐标信息及预设定义的手势关键点信息相比较，进行手势识别，并将识别到的手势输出至显示屏幕上。

所述步骤(1)中，对手掌进行检测具体为：

通过对输入图像进行灰度检测，获取Rect区域，并对Rect区域中的MAX_NUM帧的检测结果进行聚类，确定输入图像中是否存在手掌，并通过矩形框画出存在手掌情况下的聚类结果。

所述步骤(1)中，通过忽略矩形框的长宽比描述输入图像的对应区域以减少anchors的数量，其中anchors用于记录在手掌检测模块中，对输入图像里手掌所在位置进行预测时的响应区域。

所述步骤(2)中，于手部关键点检测模块中识别手部骨骼关键点坐标，所述手部关键点检测模块中，建立有手部关键点检测模型，手部关键点检测模型的建立方法具体为：