[发明专利]一种基于特征金字塔的人脸表情识别方法及装置

说明书

本发属于人脸表情识别领域，提供了一种基于特征佥字塔的人脸表情识别方法及装置。本发明目的在于解决人脸表情识别准确度低的问题。主要方案包括：从通道和空间的维度对特征图进行注意力机制，得到注意力特征图；构建一个金字塔网络与卷积注意力模块cbam融合，使得特征金字塔网络关注到对表情识别有用的地方，用于过滤输入图片无用的背景信息，得到尺度注意力特征图；通过上采样或下采样的方式缩放所有得到的尺度注意力特征图，使其分辨率一致，便于特征加权融合；将得到的缩放特征图进行特征加权融合，得到融合特征图序列；将得到的融合特征图送入全连接网络，得到多个预测结果，最后经过投票，得到最后的预测结果。

技术领域

本发明涉及由计算机进行人脸面部表情识别，可通过输入一张图片从而计算所属不同表情的概率，属于深度学习和计算机视觉技术领域。

背景技术

面部表情是人与人进行情感沟通的一种有效方式，可以通过对面部表情的分析，了解一个人大概的心理活动。心理学家研究表明，人们的日常生活中由语言、声音和面部表情这三种主要的方式来表达情感。其中人脸表情表达的信息量占到了总量的55％，声音表达的信息量占到了38％，语言表达的信息量占到了7％，即最主要的情感表达方式是面部表情，其次是声音和语言。面部表情传达了人们大量有效的信息。如果计算机能够收集、分析面部表情并加以运用，将会在很多方面发挥极大的作用，如安全驾驶、在线教育、远程医疗等等。

在国外19世纪就开始了面部表情的研究工作。二十世纪七十年代，Ekman和Friesen以及众多学者不断研究完善后，制定了一个分类准则，将人类的表情划分为7类，即生气、恶心、害怕、高兴、悲伤、惊讶和中性。传统的人类面部表情识别方法首先是进行特征提取，然后在此结果的基础上进行特征分类。有研究人员使用SIFT特征进行面部表情识别，也有结合了LBP和Gabor两种特征。其对表情识别的分类器算法主要选用K-means分类器、贝叶斯分类器、支持向量机、隐式马尔科夫模型等。

传统方法特征提取与表情分类是两个分开的过程，效率较低，且其特征提取受到人为因素影响，容易丢失部分表情特征，特征提取的不完备使得最终分类效果一般。随着深度学习算法的不断发展，众多算法已经被应用到机器视觉领域中。其中，前馈神经网络和卷积神经网络都可以用作面部表情的特征提取，其中的卷积神经网络由于强大的特征学习能力被应用于面部表情识别中，从而极大地提高了面部表情特征提取的效率。但是人脸图片尺度不一致，而卷积神经网络不具有尺度不变性，一般的做法先裁剪出人脸表情，再将其缩放到统一的尺度，最后进行分类，比如使用opencv库的人脸检测器，对人脸图片进行裁剪后再送入网络进行预测。由于人脸角度、光照等对人脸检测器的影响较大，这是提升表情识别准确率的瓶颈。

发明内容

针对上述问题，本发明使用特征金字塔网络来提取不同尺度的人脸表情特征，使用注意力机制重点关注人脸表情特征，而忽略其背景，使用自动调节的权值对不同尺度的人脸表情特征图进行加权，最后网络预测表情种类。

为了解决上述技术问题，本发明采用以下技术方案：

一种基于特征金字塔的人脸表情识别方法，包括以下步骤：

步骤1：构建卷积注意力模块cbam，从通道和空间的维度对特征图进行注意力机制，得到注意力特征图；

步骤2：构建一个金字塔网络与卷积注意力模块cbam融合，使得特征金字塔网络关注到对表情识别有用的地方，用于过滤输入图片无用的背景信息，得到尺度注意力特征图；

步骤3：通过上采样或下采样的方式缩放所有步骤2中得到的尺度注意力特征图，使其分辨率一致，便于特征加权融合；

步骤4：将步骤3得到的缩放特征图进行特征加权融合，得到融合特征图序列；

步骤5：将步骤4得到的融合特征图送入全连接网络，得到多个预测结果，最后经过投票，得到最后的预测结果。

上述技术方案中，步骤1包括以下步骤：