[发明专利]一种基于深度学习的人脸表情和姿态双模态融合表情识别方法

权利要求书

1.一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，其特征在于，具体包括如下步骤：

步骤1、建立自然环境下的图像数据库；

步骤2、对获取的图像进行预处理和增强处理；

步骤3、将预处理后的图像进行增强处理后送入SE-GoogleNet网络中进行特征提取；

步骤4、选用基于动作分类的GoogleNet模型的Caffemodel的卷积部分直接进行知识迁移训练；

步骤5、将两个经过预训练之后的卷积神经网络分别输入SPP层，然后进行特征融合，最后送入LSTM完成最终的分类。

2.根据权利要求1所述一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，其特征在于，所述步骤1具体包括如下步骤：

步骤1.1、搜集现有的自然表情数据库；

步骤1.2、利用关键字从网站上爬取表情动态图片；

步骤1.3、从自然表情数据库中的图片序列中选取表情明显的图片和从网站上爬取的表情动态图片组成新的数据库。

3.根据权利要求1所述一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，其特征在于，所述步骤2具体包括如下步骤：

步骤2.1、将建立的自然表情数据库中的视频和动态图片利用ffmpeg进行分帧处理；

步骤2.2、利用人脸检测算法对人脸区域进行提取；对整幅图像生成带时序信息的图像即光流图和差分图；

步骤2.3、对图像进行0-10度的随机旋转，水平翻转，随机裁剪，对比度变化图像增强操作。

4.所根据权利要求1所述一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，其特征在于，步骤3中所述SE-GoogleNet是GoogleNet的改进，两者在Inception模块上不同，SE-GoogleNet使用SEnet中Block单元的部分结构，增加了同层特征通道间的联系。

5.根据权利要求1或权利要求4所述一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，其特征在于，步骤3所述使用SE-GoogleNet网络的数据特征提取过程基于SE-Inception模块，通过增加同层特征图的尺度变化理论上构建表情特征，实现对静态表情识别的分类任务。

6.根据权利要求1所述一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，其特征在于，所述步骤4具体包括如下步骤：

步骤4.1、网络首先通过卷积层对表情图像空间特征进行提取和非线性组合；

步骤4.2、通过Reshape层将特征变形为与N,B,S以及上层网络输出个数相关的数据结构送入LSTM层，其中N为网络一次接受的图片序列数，B代表进行一次梯度更新的图片间隔数，S指第一个LSTM层含有神经元的个数；

步骤4.3、LSTM层通过神经元随时间的梯度更新结构和门结构生成基于空间特征的时域特征。

7.根据权利要求1所述一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，其特征在于，所述步骤5具体包括如下步骤：

步骤5.1、将人脸和肢体轮廓送入不同的卷积神经网络结构对其进行图像维度特征提取；

步骤5.2、将卷积图通过SPP层完成特征尺寸的固定；

步骤5.3、将两个网络的特征层进行直接连接；

步骤5.4、输入LSTM完成表情分类。