[发明专利]一种基于骨架的手势识别方法及系统

说明书

本发明公开了一种基于骨架的手势识别方法及系统，包括：对获取的待识别的原始手势骨架序列进行数据增强；分别提取每一帧内骨架节点之间的运动特征，以及不同尺度的空间运动特征，利用空间感知网络得到第一动态手势预测标签；分别提取相邻帧间骨架节点之间的运动特征，以及不同尺度的时间运动特征，利用短期时间感知网络得到第二动态手势预测标签；分别提取不相邻帧间骨架节点之间的运动特征，以及不同尺度的时间运动特征，利用长期时间感知网络得到第三动态手势预测标签；根据得到的动态手势预测标签，利用时空多尺度链式网络模型输出最终的手势预测标签。本发明能够通过有针对性的优化单独的分支来实现整体识别效率以及识别精度的提升。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于骨架的动态手势识别方法及系统。

背景技术

本部分仅仅阐述了与本发明相关的背景技术信息，不必然构成在先技术。

随着虚拟现实技术的飞速发展以及人们对人机交互性能要求的不断提高，传统的人机交互模式已经无法满足人们的需求，人们迫切地需要更加自然的、更符合人们生活习惯的交互方式，例如：语音、手势等。目前手势凭借着便捷、直观等特点在人机交互领域得到了广泛的应用，其被广泛地应用于交互式游戏、机器人控制、聋哑人辅助交流等各个领域。与接触式人机交互相比手势交互提供了一种更加便捷的交互方式，其不需要特殊的硬件便可完成相关的任务。因而，越来越多的相关学者开始投身于手势识别技术的研究工作。

目前基于手势的人机交互可以分为两种：基于数据手套的人机交互以及基于计算机视觉的人机交互。

基于数据手套的人机交互方式往往需要特殊的硬件设备，而且无法应用于特殊的环境中。用户想要进行交互时需要穿戴数据手套，而数据手套便利用内嵌的磁定位传感器、弯曲传感器以及三轴加速度传感器等来获取用户的手势空间位置、手指弯曲程度以及手势的运动状态。该方法虽然识别精度高、识别速度快，但是其往往会极大地影响用户的使用体验而且数据手套的价格也相对较为昂贵。

近年来，随着计算机硬件设备以及机器学习技术地迅猛发展，基于机器视觉的手势识别逐渐成为相关学者的研究热点。基于图像的手势识别往往需要涉及三个方面：手势的检测、手势的分割和手势的识别。

由于图像中包含大量的噪声，这将会严重地影响手势的检测以及分割的效果，从而增加了手势识别的难度。而且图像往往包含较多的冗余信息，这将占据大量的计算资源与存储资源，很难将其应用于资源有限的嵌入式设备中。Leap Motion作为一种新型传感器，能够有效地检测手部细微的动作变化，提取详细的手部信息，提供精确的手势骨架。Leap Motion主要由2个摄像头和3个红外LED构成，使用红外检测目标手势不易受外界条件的干扰，能够有效地采集到超低噪声的帧图像，从而便于进行手势骨架的估计。LeapMotion对手部运动的追踪频率可达到每秒200帧，能够实现精度高达0.01mm的追踪，其范围大约在设备前方25-600mm，并且拥有150°的圆形空间视场。与此同时，针对手部关节点估计的算法也得到了迅速地发展。利用手势骨节点来实现手势识别一方面可以极大地减少所需要处理的信息；另一方面可以在尽可能地减少原始数据带来的噪声影响。无论是直接利用Leap Motion提供的骨架数据，还是利用其提供的红外图像估计出来的骨架数据，均可以有效地提高在光照变化环境下的识别性能，从而有效地应用于实际场景中。

手势识别技术有静态手势识别和动态手势识别之分。静态手势识别仅需要处理单一的骨架数据。其实现较为简单，目前已经可以达到较高的识别精度。但是对于动态手势识别而言，不仅需要处理一系列的骨架数据，还需要有效地提取手势伴随时间和空间的改变而产生的形态和运动轨迹的变化特征。因而这就需要一定的计算资源与存储资源；而且还应当保证其能够实现实时的处理。动态手势识别的处理过程一般分为3个部分：手势特征提取、手势模型训练、手势分类识别。近些年来，动态手势识别的应用变得越来越广泛，因此，我们的研究方向便是基于骨架的动态手势识别。