[发明专利]基于特征融合的表情识别方法

说明书

本发明公开了一种基于特征融合的表情识别方法，首先对数据集进行数据增广操作，接着利用特征融合子网络将VGGNet‑19网络的不同层次语义级别特征提取出来输入全连接层，并使用拼接层将不同全连接层进行并联拼接，最后通过全连接层进行表情分类，实现表情识别任务。此网络结构的特点是可以从零开始训练网络，不需要预训练模型。本发明在FER2013表情数据集上的表现达到了较高的水平。

技术领域

本发明涉及一种基于特征融合的表情识别方法，适用于多媒体信号处理领域。

背景技术

在现代社会中，沟通和交流必不可少，人们每时每刻都在用不同的方式和渠道进行着交流。一般意义上，人类交流传达信息的方式通常可以分为语言和非语言两大部分。通过语言，人们可以直接获得话语中的相关信息，是一种较为直接的方式。然而，在实际交流过程中，人们总是可以通过除语言之外的其他非语言的方式来获得更多的信息。其中，表情扮演了非常重要的角色。表情每时每刻都在随着人们的情感发生变化，蕴含了丰富的信息，是传递信息的一种天然媒介。

表情识别是计算机视觉的重要方向，它通过从静态图像或者动态的视频序列当中分类出表情，模拟人类识别表情的方法，确定人类的情感状态，使计算机能够像人类一样准确地通过表情判断情绪状态。因此，表情识别可以广泛应用于驾驶者的疲劳监测、谎言监测、医疗、安防、教育、娱乐、虚拟现实、增强现实等人机交互的用途当中。

与传统表情识别方法相比，基于深度学习方法的表情识别能够极大地减少对于单独的模块如图像预处理和特征提取的依赖，通过构造深层神经网络结构，计算机能够提取图像的多层特征，学习到更为抽象的表情特征，并融合到一个端到端模型当中，能够提高分类准确率，具有更强的鲁棒性。深度学习的方式与人类大脑认识事物的方式类似，对于抽象的图片，文字，语音等都展示出了远胜于传统方法的准确率。除此之外，它还展示了处理更复杂数据集的能力。因此，在表情识别领域，基于深度学习的方法也被研究者们越来越多地应用。

然而在基于深度神经网络的表情识别当中，神经网络通过不同的卷积层学习到输入图像不同的特征，每一个卷积层对应输出不同尺寸大小的特征图。随着网络深度的增加，卷积层输出的特征图在学习到的特征方面也有着区别，对于浅层的卷积层而言，输出的特征图更多包含了低层级特征，比如纹理、细节等特征。对于深层卷积层而言，随着特征图尺寸越来越小，特征图能够提取到的更多是高层级的语义特征与一些最强特征，这时的特征图可视化后，人眼已经难以辨别出与原图的关系，这是因为在网络层数由浅入深的过程中，特征图要经历一系列下采样操作，而下采样为了缩小特征图尺寸，减小计算量，将不可避免地丢失很多浅层网络提取到的细节特征。

发明内容

发明目的：针对上述现有技术，提出一种基于特征融合的表情识别方法，解决传统卷积神经网络对于表情特征提取不充分的问题。

技术方案：基于特征融合的表情识别方法，包括如下步骤：

步骤1：对数据集进行数据增广；

步骤2：将步骤1得到的增广图片输入VGGNet-19网络进行训练，通过全连接层后提取得到主网络特征；

步骤3：在第三次池化与第四次池化操作后分别将特征图输入特征融合子网络进行训练，并最终与主网络融合，进行分类。

进一步的，所述步骤1包括如下子步骤：

步骤1.1：对数据集中图片进行随机剪裁与水平翻转，具体为：对数据集中尺寸为48×48大小的灰度图进行随机裁剪，所述随机裁剪即选取一个40×40大小的窗口对输入图像进行裁剪，窗口位置随机，裁剪后图片尺寸大小为40×40；然后对进行随机裁剪后的数据集以概率0.5进行随机水平翻转，即依据下式进行处理：

I_preprocess＝Flip(Crop(I_input))