[发明专利]一种基于深度学习的人脸表情和姿态双模态融合表情识别方法

说明书

本发明属于图像识别技术领域，具体涉及一种基于深度学习的人脸表情和姿态双模态融合表情识别方法。包括以下步骤：建立自然环境下的图像数据库，并对获取的图像进行预处理和增强处理；提出SE‑GoogleNet网络对处理后的数据图像进行特征提取；选用基于动作分类的GoogleNet模型的Caffemodel的卷积部分直接进行知识迁移训练；将两个经过预训练之后的卷积神经网络分别输入SPP层进行特征融合，最后送入LSTM中实现双模态表情识别最终分类。本发明设计了基于面部、肢体的双通道特征融合的LSTM模型，使用金字塔池化，进而解决了特征融合时的尺寸匹配问题；并且结合迁移学习，使该模型能在数据库较少的情况下实现对双模态表情的识别，提高了该模型对各种自然环境的适应能力，应用前景广泛。

技术领域

本发明属于图像识别技术领域，具体涉及一种基于深度学习的人脸表情和姿态双模态融合表情识别方法。

背景技术

情感有三种基础的表现形式：表情、声音和语言。由于表情独有的非接触性，普适性和真实性，在实际生活中最能体现人类真实情感。因此，通过对表情的识别能够有效实现智能人机交互与对自身情绪波动的预知。表情分为面部表情和姿态表情两类。早期的面部表情识别研究困难大，进展缓慢。随着近几年深度学习在计算机视觉领域获得的杰出成就。深度学习结构以及理论便被迅速引入，使得表情识别技术又有了显著的发展。

发明内容

本发明的目的在于提供一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，其能够识别自然环境与光照条件下的表情。

一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，具体包括如下步骤：

步骤1、建立自然环境下的图像数据库；

步骤2、对获取的图像进行预处理和增强处理；

步骤3、将预处理后的图像进行增强处理后送入SE-GoogleNet网络中进行特征提取；

步骤4、选用基于动作分类的GoogleNet模型的Caffemodel的卷积部分直接进行知识迁移训练；

步骤5、将两个经过预训练之后的卷积神经网络分别输入SPP层，然后进行特征融合，最后送入LSTM完成最终的分类。

所述一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，步骤1具体包括如下步骤：

步骤1.1、搜集现有的自然表情数据库；

步骤1.2、利用关键字从网站上爬取表情动态图片；

步骤1.3、从自然表情数据库中的图片序列中选取表情明显的图片和从网站上爬取的表情动态图片组成新的数据库。

所述一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，步骤2具体包括如下步骤：

步骤2.1、将建立的自然表情数据库中的视频或动态图片利用ffmpeg进行分帧处理；

步骤2.2、利用人脸检测算法对人脸区域进行提取；对整幅图像生成光流图和差分图等带时序信息的图像；

步骤2.3、对图像进行0-10度的随机旋转，水平翻转，随机裁剪，对比度变化等图像增强操作。

所述一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，步骤3中SE-GoogleNet是GoogleNet的改进，两者在Inception模块上不同，SE-GoogleNet使用SEnet中Block单元的部分结构，增加了同层特征通道间的联系。

所述一种基于深度学习的人脸表情和姿态双模态融合表情识别方法，步骤3使用SE-GoogleNet的数据特征提取过程基于SE-Inception模块，通过增加同层特征图的尺度变化理论上构建表情特征，实现对静态表情识别的分类任务。