[发明专利]一种基于3D卷积神经网络的动态手势识别方法

说明书

本发明公开了一种基于3D卷积神经网络的动态手势识别方法。其方案是：（1）对公开的动态手势数据集进行预处理；（2）将R（2+1）D‑18网络增加跳残差结构；（3）将R（2+1）D‑18网络提取的浅层特征与深层特征相融合；（4）对改造的R（2+1）D‑18网络进行训练和测试。本发明解决了现有动态手势识别网络中相邻卷积层的特征信息缺乏关联性的问题以及对浅层特征信息挖掘利用不够的问题，提高了动态手势分类准确率，实现了对动态手势的识别，可应用于人机交互、虚拟现实等领域，为人们带来便利。

技术领域

本发明涉及机器视觉领域，具体为一种基于3D卷积神经网络的动态手势识别方法。

背景技术

随着机器学习和深度学习的不断发展，动态手势识别成为计算机视觉、物联网和人工智能等领域的研究热点，对智慧医疗、智能家居等行业有重要作用。

动态手势识别方法主要有：基于手工提取特征的动态手势识别方法和基于深度神经网络学习特征的动态手势识别方法。基于手工提取特征的动态手势识别方法根据不同场景的要求提取相应的特征，最终利用分类器将分类结果输出，但是受环境的影响较大，且需要人工提取手势动作图像特征，工作量大，耗费时间；基于深度神经网络学习特征的动态手势识别方法从数据中自动学习目标特征，输入一段视频，通过神经网络完成对视频中动态手势特征的提取，避免了手工提取特的过程。

现有基于深度学习的动态手势识别方法中所设计的神经网络结构复杂，容易产生梯度爆炸以及梯度消失的问题；同时，现存网络往往注重高层的语义信息的利用，对浅层特征信息挖掘利用不够。

为解决上述问题，本发明提出一种基于3D卷积神经网络的动态手势识别方法，利用公开的动态手势数据集来训练和测试所设计的神经网络；针对目前神经网络结构复杂，相邻卷积层的特征信息缺乏关联性，易产生梯度爆炸或者梯度消失，以及对浅层特征信息挖掘利用不够的问题，在R(2+1)D-18网络的基础上增加一个跳残差结构，以及将R(2+1)D-18网络的浅层特征与深层特征相融合，提高手势识别精度。

发明内容

1、本发明的目的

本发明为了提高识别精度，提供了一种基于卷积神经网络的手势识别方法。

2、本发明所采用的技术方案

本发明提出的一种基于卷积神经网络的动态手势识别网络方法，通过以下步骤实现：

(1)对公开的动态手势数据集进行预处理：

(1-1)帧截取：对公开动态手势数据集的每一个动作视频以原始的帧速率进行帧采样，确保一个动作视频提取出的动作图像不少于16帧；

(1-2)数据标定：动态手势数据集的动作一共为N类，标签分别标记为1到N，动态手势视频一共有M个；其中M1个视频进行帧提取后的动作图像作为训练数据，剩余的M2个视频进行帧提取后的动作图像作为测试数据；

(1-3)图像裁剪与数据增强：将尺寸不一的动作图像统一裁剪成尺寸为112X112的图像，然后进行随机水平或垂直翻转，将动作图像的RGB数据进行平均归一化；

(2)将R(2+1)D-18网络增加跳残差结构：

增加跳残差结构：R(2+1)D-18网络结构包括一个时空卷积层，四个残差层，一个平均池化层以及一个全连接层，其中，每个残差层包含两个残差块，每个残差块包含两个时空卷积层；将以上结构中的第一个时空卷积层和第三个残差层之间增加一个跳残差结构；

(3)将R(2+1)D-18网络提取的浅层特征与深层特征相融合：

(3-1)提取第一个残差层的特征：在R(2+1)D-18网络中的第一个残差层后新增一个分支，连接一个时空卷积层，一个批归一化层，一个平均池化层，一个全连接层，提取浅层特征；