[发明专利]一种基于循环三维卷积神经网络的手势识别方法

说明书

技术领域

本发明涉及人机智能交互的技术领域，特别是一种基于循环三维卷积神经网络的手势识别方法。

背景技术

手势识别是计算机科学和语言技术中的一个主题，目的是通过数学算法使计算机能够识别人类手势，实现人与计算机之间的有效交流与控制。手势以其直观、自然和易于学习的人机交互的优势和不需要专门的硬件配合的情况下实现智能化的信息交换和处理，受到了越来越多的企业及学者的关注，其中目前应用于无人驾驶以及VR领域中手势识别就是一种简单的手势识别。它是一种通过深度学习技术，能够理解用户的手势，并提供对应应答或指令操作的人工智能系统。

公开号为CN104182772A的专利文件公开了一种基于循环三维卷积神经网络的手势识别方法，，包括以下步骤：对采集到的手势图像进行降噪处理、消除手势图像中的色彩偏移现象；采用帧间差分方法和颜色特征检测方法锁定手势在图像中的所在区域，采用CamShift算法对手势进行跟踪，获取手势目标；对手势目标图像进行深度学习；将获取的待识别手势图像输入训练后的深度信念网络模型中，完成手势的识别分类。该方法对于手势的前期预处理相对较为繁琐，且依然需要对手势部位进行跟踪。

公开号为CN105654037A的专利文件公开了一种基于深度学习和特征图像的肌电信号手势识别方法，首先对采集手势肌电原始信号进行预处理；其次进行特征提取，通过不同尺寸和概率的采样窗口提取出包括时域、时频域的特征，并将这些特征转换成图像；然后将特征图像和其对应的动作标签一起输入到深度神经网络中进行训练，得到网络模型；最后将测试数据和训练得到的网络模型输入深度卷积神经网络中进行预测，得到每段动作所有图像的预测标签，将这些标签按照多数同意规则进行投票，票数最高者为该段动作类别。该申请是基于肌电信号来进行手势识别的，由于集群结构的复杂性，肌电信号的个体差异电极位置等影响，其分类难度很大。

发明内容

为了解决上述的技术问题，本发明提出了一种基于循环三维卷积神经网络的手势识别方法，使得手势识别的效果更为精确，能够对SKIG和ChaLearn2014数据集中的手势进行较为准确的识别，其精确度超过了以往的传统的方法。

本发明提供一种基于循环三维卷积神经网络的手势识别方法，包括数据预处理，还包括以下步骤：

步骤1：循环三维卷积神经网络分类器设计；

步骤2：所述循环三维卷积神经网络分类器预训练；

步骤3：所述循环三维卷积神经网络分类器训练；

步骤4：所述循环三维卷积神经网络分类器优化；

步骤5：输出分类标签，测试所述分类器的分类效果。

优选的是，所述循环三维卷积神经网络分类器由三维卷积神经网络和循环神经网络组成。

在上述任一方案中优选的是，所述数据预处理是指将获取到的数据处理成固定大小的且满足循环三维卷积神经网络输入层输入的规格需求。

在上述任一方案中优选的是，所述数据预处理的步骤如下：

步骤01：对输入的数据进行裁剪，随机裁剪的生成尺寸为A×A；

步骤02：进行数据增强，对每个视频进行随机空间旋转和缩放；

步骤03：对所述视频进行随机时间缩放和抖动；

步骤04：得到满足CNN输入的数据。

在上述任一方案中优选的是，所述随机空间旋转的角度为±B°，缩放±C％。

在上述任一方案中优选的是，所述随机时间缩放±D％，抖动±E帧。

在上述任一方案中优选的是，所述分类器的设计方法包括以下步骤：

步骤11：计算ω类的类条件概率；

步骤12：所述三维卷积神经网络将所述视频片段转换成特征表示f_t；

步骤13：将时空滤波器应用于所述视频片段，计算隐藏状态向量h_t；

步骤14：softmax层将所述隐藏状态向量h_t转换为ω类的类条件概率s_t。

在上述任一方案中优选的是，所述ω类的类条件概率的计算公式为其中为权重矩阵，h_t为隐藏状态向量，b为偏差，

在上述任一方案中优选的是，将所述视频片段转换成所述特征表示f_t的计算公式为其中，视频片段定义为在时间t结束的具有大小为k×l个像素的c个通道的m≥1个连续帧的体积

在上述任一方案中优选的是，所述隐藏状态向量h_t的计算公式为其中，和是权重矩阵，