[发明专利]一种基于高效卷积神经网络的多模态融合手势识别方法

权利要求书

1.一种基于高效卷积神经网络的多模态融合手势识别方法，其特征在于，包括如下步骤：

步骤1、视频序列预处理：将数据集中的一段手势视频序列V平均分割为多段片段，再从每段片段中随机选择一帧彩色图像形成新的彩色图像序列F；然后将视频序列V逐帧做帧差生成帧差序列M；

步骤2、数据层融合：针对彩色图像序列F中的各帧彩色图像，在帧差序列M找到相同索引值的帧差图像，将该帧差图像、该帧差图像的前m-1帧的帧差图像以及该彩色图像，按索引值次序组成一帧具有(3+m)通道数的多通道融合图像；m取值范围为1至4；遍历彩色图像序列F中的每一帧彩色图像后，最终形成一段具有N张多通道融合图像的序列{F¹,F²,...,F^N}；N表示手势视频序列V被分成的段数；

步骤3、将步骤2获得的多段具有N张多通道融合图像的序列以及各自的分类结果输入到高效卷积神经网络中，对网络进行训练，得到训练好的高效卷积神经网络；

步骤4、手势识别：针对输入的未知类别的手势视频，按照步骤1和步骤2的方法，获得该段视频对应的具有N张多通道融合图像的序列，将其输入到步骤3训练好的高效卷积神经网络中，对手势进行分类。

2.如权利要求1所述的一种基于高效卷积神经网络的多模态融合手势识别方法，其特征在于，对所述步骤2获得的多通道融合图像的序列进行数据增强，以扩充数据量。

3.如权利要求2所述的一种基于高效卷积神经网络的多模态融合手势识别方法，其特征在于，所述数据增强的方法包括：(a)随机对图像尺寸做一定范围的调整；(b)随机对图像做一定角度的旋转操作；(c)随机选取图像的一部分，再放大到要求的尺寸。