[发明专利]基于卷积神经网络和对抗卷积神经网络的手势识别方法

说明书

本发明公开了一种基于卷积神经网络和对抗卷积神经网络的手势识别方法，对于某些特定类型的手势，首先通过使用对抗卷积神经网络来生成训练样本，可以解决训练模型时的过拟合问题；此外，使用卷积神经网络来进行手势识别，可以有效提高识别的准确率及效率，可以达到实时的手势识别。本发明将卷积神经网络和对抗卷积神经网络结合应用于手势识别，相对于传统的识别方法，神经网络的优点是能够直接与图像像素进行卷积，从图像像素中提取图像特征，这种处理方式更加接近人类大脑视觉系统的处理方式。

技术领域

本发明涉及图像识别领域，尤其涉及一种基于卷积神经网络和对抗卷积神经网络的手势识别方法。

背景技术

近年来随着科学技术的高速发展，人机交互的方式也得到了很大的改变，各种新型的人机交互方式也不断出现在大众的视野，鼠标键盘的交互方式变为触摸屏与语音，交互形式变得多样化、人性化。然而更为高效交互形式是让机器能够理解人的肢体语言，在各类肢体语言中手势最为常见，因此可以将它作为一种简单、自由的人机交互手段，有着十分广阔的应用前景。

进行基于手势的人机交互时，一个很重要的过程是对手势进行识别。手势识别时，一般过程是先提取手势的特征，然后根据所提取的特征根据有效的识别方法进行手势识别。

传统的手势识别方式很多，如基于神经网络的识别方法具有较强的识别分类识别能力的分类能力，但是该方法采用神经网络层数一般较浅，很容易出现过拟合的现象。基于几何特征的识别方法通过提取手势结构、边缘、轮廓等特征进行手势识别，该方法具有良好的稳定性，但是不能通过提升样本量的同时进行识别率的提升。基于隐马尔科夫模型的识别方法虽然具有描述手势时空变化的能力，但是该方法的识别速度却不尽如人意。

随着机器学习和深度学习在计算机视觉的迅速发展，基于机器学习和深度学习的方法受到越来越多研究者的关注。其中，基于深度神经网络则有着局部连接、权值共享、自动特征提取等特点过程给手势识别的任务带来新的思路。因此针对手势变化的复杂性，也有一些研究者提出了基于深度卷积神经网络的手势识别方法。但是由于用于训练的手势图像的相似度都很高，容易使模型训练时产生过拟合，从而导致最后的识别效果受到影响。

生成对抗网络是受到博弈论中的二人零和博弈的启发，由Goodfellow等人开创性地提出的。根据实际的结果，它们看上去可以比其它模型产生了更好的样本(图像更锐利、清晰)。对抗卷积神经网络是生成对抗网络的一种延伸，将卷积神经网络引入到生成式模型当中来做无监督的训练，利用卷积网络强大的特征提取能力来提高生成网络的学习效果。

现在是信息化时代，也是大数据时代，传统的手势识别算法难以解决如此大量的数据，使用这些算法可能会浪费大量时间。而且手势种类较多时，按传统的手势识别方法来识别不同类型的手势，只能在少部分手势上达到较好的识别效果，而大部分手势都达不到令人满意的效果，即传统方法的针对性比较强，对特定的一些类手势可能有良好的分割效果，但是不能适用于其他类手势，即没有广泛的适用性。在卷积神经网络用于手势识别时，训练出现过拟合是一个非常常见的现象，而且这确实是一个不容忽视的问题，同时大量实验也证明了这个问题，这严重影响到了模型最终识别的效果。

发明内容

发明目的：针对以上问题，本发明提出一种基于卷积神经网络和对抗卷积神经网络的手势识别方法，可以有效提高识别的准确率及效率，达到实时的手势识别。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于卷积神经网络和对抗卷积神经网络的手势识别方法，包括步骤：

(1)采集样本图像，确定学习样本，并分类存放；

(2)利用对抗卷积神经网络自主学习样本图像，生成得到新的手势图像；

(3)对抗卷积神经网络生成的手势图像，作为识别卷积神经网络自主学习的样本，训练得到识别卷积神经网络模型；

(4)准备待识别手势；