[发明专利]一种基于深度学习的手势识别方法

说明书

本发明提供了一种基于深度学习的手势识别方法，其特征在于，包括以下步骤：利用手势训练集和测试集对二值化卷积神经网络进行训练；利用肤色反映的颜色信息，基于颜色信息对预处理后的原始图像进行分割，提取手势轮廓；利用训练后的二值化卷积神经网络判断手势轮廓对应的手势指令；定位一系列手势轮廓对应的动态手势起、止点，并使用TLD算法追踪手势轨迹，追踪过程中的偏差使用Haar分类器进行修正，再使用HMM算法识别动态手势。本发明提供的方法可以解决传统的手势识别中一般存在着的识别精度不高、稳定性差、实时性较差、手势功能单一等问题。

技术领域

本发明涉及一种基于深度学习手势识别方法，属于手势识别技术领域。

背景技术

计算机的出现，对人类的社会生产和日常生活产生了极其重要的影响，它一方面极大地提高了信息处理的效率，另一方面推动了智能化生活的发。因此，如何高效便捷地与计算机交互成为人们研究的热点。

随着社会信息技术的发展，人机交互技术(Human Computer Interaction，英文简称为HCI)，已成为日常生活的重要组成部分。作为一种新兴的人机交互方式，手势识别技术在很多范围领域都有着广泛的使用前景：(1)数字生活及娱乐方面。例如，2008年，爱立信推出一款智能手机R520m，该手机通过其内置摄像头采集用户的手势信息，在手机界面充当键盘或触摸屏，从而实现对闹钟和来电的控制。(2)科技创新领域。在太空探索和军事研究领域，经常会遇到一些危险环境或不便于人直接接触控制的特殊环境，这时可通过手势远程操控机器人进行交互获得相关信息。(3)智能交通领域，例如无人驾驶。早在2010年，Google公司已经对外公布了他们的无人驾驶汽车，该汽车开辟了智能交通的新时代。

在人机交互技术领域中手势识别技术可以起到以下作用：

(1)对用户而言，帮助用户更便捷的使用产品，节省用户时问、提升户体用户体验；

(2)对产品而言，淘汰冗余的使用说明，产品使用只需提供相关的通用手势指导即可。

发明内容

本发明要解决的技术问题是：传统的手势识别算法中一般存在着识别精度不高，稳定性差，实时性较差，手势功能单一等问题。

为了解决上述技术问题，本发明的技术方案是提供了一种基于深度学习的手势识别方法，其特征在于，包括以下步骤：

步骤1、利用手势训练集和测试集对二值化卷积神经网络进行训练；

步骤2、采集原始手势图像后，对原始手势图像进行预处理，以去除光照对原始图像造成的影响；

步骤3、利用肤色反映的颜色信息，基于颜色信息对预处理后的原始图像进行分割，提取手势轮廓；

步骤4、判断步骤3提取到的手势轮廓是否为动态手势的起、止点，若是，则该手势轮廓其后的一系列图像提取的手势轮廓为动态手势，进入步骤6，若不是，则该手势轮廓为静态手势，进入步骤5；

步骤5、利用训练后的二值化卷积神经网络判断手势轮廓对应的手势指令；

步骤6、定位一系列手势轮廓对应的动态手势起、止点，并使用TLD算法追踪手势轨迹，追踪过程中的偏差使用Haar分类器进行修正，再使用HMM算法识别动态手势。

优选地，在所述步骤2中，所述预处理包括亮度修正及光线补偿；

亮度修正时，对原始手势图像中高亮区域使用修正的指数变换来修正；对于原始手势图像中较暗的区域，使用带参数的对数变换来修正，对其他区域则不进行修正；

基于动态阈值进行光线补偿，基于全反射理论的算法将原始手势图像转换到YCbCr色彩空间，然后将YCbCr色彩空间图像中Y分量较大的点的集合当做白色参考点。