[发明专利]一种手势交互过程中用户手势的自动纠错方法

说明书

技术领域

本发明涉及一种手势交互过程中用户手势的自动纠错方法。

背景技术

目前在人机交互的领域，用户更加注重交互方式的自然性。手势作为欣欣向上的新的交互方式，给我们的智能生活带来了很多便利。但是在自然交互过程中，如果手势识别率很差，导致用户在实际应用中做的手势经常被误认为错的手势。那么这种交互方式也就会逐渐被大家遗弃。因此找出容易混淆的手势，把这些手势区分开是必然、刻不容缓要解决的问题。

发明内容

为解决以上技术上的不足，本发明提供了一种手势交互过程中用户手势的自动纠错方法，它提高了手势识别效率，使得自然交互过程更加准确。

本发明是通过以下措施实现的：

本发明的一种手势交互过程中用户手势的自动纠错方法，包括以下步骤：

步骤1，采用kinect设备获取不同角度、不等距离的n种类别的手势样本，然后采用卷积神经网络模型对手势样本进行训练，得到训练过程中识别错误的手势样本；

步骤2，提取步骤1中识别错误的手势样本的特征，并将手势样本特征以及对应的手势类别存入样本集合中；

步骤3，提取待识别手势的特征，采用hausdorff距离算法计算待识别手势的特征与样本集合中所有手势样本的特征之间的距离，如果某一手势样本的特征与待识别手势的特征之间的距离小于给定阈值，则识别结果输出该手势样本特征对应的手势类别。

上述在步骤1中，采用kinect设备获取手势样本的彩色图，并将手势样本的彩色图统一裁剪成大小为225*225尺寸。

上述在步骤1中采用5种卷积、3层池化层的卷积神经网络模型。

本发明的有益效果是：本发明利用hausdorff距离计算待识别手势是否与易错手势样本集合中的手势样本相似，如果相似则采取强制输出该手势样本对应的手势类别，从而提高识别率，使得自然交互过程更加准确，对手势识别的交互方式具有很大的推广作用。

附图说明

图1为本发明的工作流程框图。

具体实施方式

下面结合附图对本发明做进一步详细的描述：

如图1所示，本发明首先利用深度学习训练几种手势得到网络模型，针对训练过程中识别错误的手势样本集，提取这些样本的特征，并存入一个集合中。在手势交互过程中，就可以先利用hausdorff距离计算手势是否与集合中的元素相似，如果相似则说明这个手势易被我们的网络模型识别为错误手势，我们采取以某个概率强制转换成正确的样本标签，如果和集合中任意元素都不相似则识别为网络模型测试的结果。从而提高识别率，使得自然交互过程更加准确。

步骤1，采用kinect设备获取不同角度、不等距离的n种类别的手势样本，然后采用卷积神经网络模型对手势样本进行训练，得到训练过程中识别错误的手势样本；

步骤2，提取步骤1中识别错误的手势样本的特征，并将手势样本特征以及对应的手势类别存入样本集合中；

步骤3，提取待识别手势的特征，采用hausdorff距离算法计算待识别手势的特征与样本集合中所有手势样本的特征之间的距离，如果某一手势样本的特征与待识别手势的特征之间的距离小于给定阈值，则识别结果输出该手势样本特征对应的手势类别。

卷积神经网络是一种特殊的深层的神经网络模型，主要由卷积层以及下采样层组成。它的特殊性体现在两个方面，一方面它的神经元间的连接是非全连接的，另一方面同一层中某些神经元之间的连接的权重是共享的。它的非全连接和权值共享的网络结构使之更类似生物的神经网络，降低了网络模型的复杂性，大大减少了网络训练的参数数量。

CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

卷积神经网络是在BP神经网络基础上的的改进优化，与BP神经网络相比，CNN结构多了卷积运算。在一个卷积层，上一层的特征图被一个可学习的卷积核卷积，通过一个激活函数就可以得到本层特征map。用公式(1) 表示如下：