[发明专利]一种基于高效卷积神经网络的多模态融合手势识别方法

摘要

本发明公开了一种基于高效卷积神经网络的多模态融合手势识别方法，利用帧差替代光流作为额外模态并在数据层进行融合，在精度相当的前提下，大幅提高运行速度；本发明方法能够对普通摄像头捕获的手势序列进行高精度分类，可以达到每秒处理33.2个视频序列的速度，分类精度可实现与目前该数据集上最佳算法相近的效果。在虚拟/增强现实、智能驾驶等多种任务中可以得到广泛应用。

主权项

1.一种基于高效卷积神经网络的多模态融合手势识别方法，其特征在于，包括如下步骤：步骤1、视频序列预处理：将数据集中的一段手势视频序列V平均分割为多段片段，再从每段片段中随机选择一帧彩色图像形成新的彩色图像序列F；然后将视频序列V逐帧做帧差生成帧差序列M；步骤2、数据层融合：针对彩色图像序列F中的各帧彩色图像，在帧差序列M找到相同索引值的帧差图像，将该帧差图像以及该帧差图像的前m‑1帧的帧差图像并连同该彩色图像，按索引值次序组成一帧具有(3+m)通道数的多通道融合图像；m取值范围为1至4；遍历彩色图像序列F中的每一帧彩色图像后，最终形成一段具有N张多通道融合图像的序列{F¹,F²,...,F^N}；N表示手势视频序列V被分成的段数；步骤3、将步骤2获得的多段具有N张多通道融合图像的序列以及各自的分类结果输入到高效卷积神经网络中，对网络进行训练，得到训练好的高效卷积神经网络；步骤4、手势识别：针对输入的未知类别的手势视频，按照步骤1和步骤2的方法，获得该段视频对应的具有N张多通道融合图像的序列，将其输入到步骤3训练好的高效卷积神经网络中，对手势进行分类。