[发明专利]一种基于高效卷积神经网络的多模态融合手势识别方法

说明书

本发明公开了一种基于高效卷积神经网络的多模态融合手势识别方法，利用帧差替代光流作为额外模态并在数据层进行融合，在精度相当的前提下，大幅提高运行速度；本发明方法能够对普通摄像头捕获的手势序列进行高精度分类，可以达到每秒处理33.2个视频序列的速度，分类精度可实现与目前该数据集上最佳算法相近的效果。在虚拟/增强现实、智能驾驶等多种任务中可以得到广泛应用。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于高效卷积神经网络的多模态融合手势识别方法。

背景技术

手势识别系统是人机交互领域中一项重要的研究议题，在虚拟/增强现实、智能驾驶、智能家居等领域有着广泛应用。考虑到价格和普及性，普通彩色摄像头是手势识别系统的主流设备。在实际使用过程中，由手型和运动轨迹混淆带来的错误分类不可避免的降低了手势分类的精度，对一些鲁棒性与精度要求极高的应用造成了诸多不便。因此在保证实时性的前提下，降低易混淆手势的错误率，提高手势分类的精度有着非常重要的应用前景。

目前的二维手势识别算法通常是从视频序列中提取特征并将视频序列对应到正确的类别。因此在一定程度上，手势识别也可视为视频分类问题。提取视频序列上的特征，该过程大致可分为传统方法和基于神经网络的方法。传统方法主要是从视频序列中提取一些手工特征，比如方向梯度直方图、密集轨迹算法等，但由于手势和周围环境的复杂性，这些方法很难满足于实际应用的需求。另一种方法主要基于神经网络，比如三维卷积神经网络、循环神经网络、双流卷积神经网络、时序分割卷积神经网络等。这些方法通常使用光流作为额外模态补充运动信息，然而在一些资源受限环境，无法实时提取光流。2018年提出的高效卷积神经网络使用二维卷积网络提取空间信息，并将特征融合输入到三维卷积网络提取运动信息，该网络每秒大约可处理35.3个视频序列。然而，由于仅使用彩色视频序列作为输入，高效卷积网络对于易混淆手势的分类精度不高。

发明内容

有鉴于此，本发明的目的是提供一种基于高效卷积神经网络的多模态融合手势识别方法，可以获得更好的手势识别分类效果，并提高运行速度。

一种基于高效卷积神经网络的多模态融合手势识别方法，包括如下步骤：

步骤1、视频序列预处理：将数据集中的一段手势视频序列V平均分割为多段片段，再从每段片段中随机选择一帧彩色图像形成新的彩色图像序列F；然后将视频序列V逐帧做帧差生成帧差序列M；

步骤2、数据层融合：针对彩色图像序列F中的各帧彩色图像，在帧差序列M找到相同索引值的帧差图像，将该帧差图像以及该帧差图像的前m-1帧的帧差图像并连同该彩色图像，按索引值次序组成一帧具有(3+m)通道数的多通道融合图像；m取值范围为1至4；遍历彩色图像序列F中的每一帧彩色图像后，最终形成一段具有N张多通道融合图像的序列{F¹,F²,...,F^N}；

步骤3、将步骤2获得的多段具有N张多通道融合图像的序列以及各自的分类结果输入到高效卷积神经网络中，对网络进行训练，得到训练好的高效卷积神经网络；

步骤4、手势识别：针对输入的未知类别的手势视频，按照步骤1和步骤2的方法，获得该段视频对应的具有N张多通道融合图像的序列，将其输入到步骤3训练好的高效卷积神经网络中，对手势进行分类。

进一步的，对所述步骤2获得的通道融合图像的序列进行数据增强，以扩充数据量。

较佳的，所述数据增强的方法包括：(a)随机对图像尺寸做一定范围的调整；(b)随机对图像做一定角度的旋转操作；(c)随机选取图像的一部分，再放大到要求的尺寸。

本发明具有如下有益效果：