[发明专利]一种基于显著表情变化区域辅助学习的人脸表情识别方法

说明书

本发明公开了一种基于显著表情变化区域辅助学习的人脸表情识别方法，其搭建一个辅助学习网络对人脸表情图像中的显著表情变化区域进行特征提取，将主网络与辅助学习网络的前3层特征提取层的参数进行共享，将辅助学习网络的第四层、第五层特征提取层提取的特征与主网络的第四层、第五层进行特征加权融合，使得主网络结构可以学习到辅助网络中的一些显著表情区域的特征；使用人脸检测和定位算法对人脸表情数据集进行处理得到人脸区域图像，用于对主网络进行训练；将人脸区域图像进行预处理得到具有表情显著变化区域的图像，用于对辅助学习网络进行训练，使得表情识别的主网络可以更加集中注意力在显著表情变化的区域，从而提取更加具有辨识力和鲁棒性的表情特征。

技术领域

本发明涉及人工智能领域，更具体的，涉及一种基于显著表情变化区域辅助学习的人脸表情识别方法。

背景技术

在人与人之间的交流中，人脸表情所传递的信息反映着人类丰富的内心世界，是人体行为信息与情感的重要载体。随着科学技术的发展，人脸表情识别技术得到了深入研究，并广泛的应用在各个领域中，人脸表情识别常常用于人机交互领域。

人脸表情识别的步骤一般包含人脸表情图像的获取和对原始人脸表情图像的剪裁、归一化、表情特征提取、模型训练和表情分类，其中的关键步骤是表情特征提取，提取的特征的有效性决定着人脸表情识别性能的高低。现有技术中一般都是对整张人脸表情图像进行识别，而人脸表情传递着重要信息主要是通过眼睛、嘴唇嘴巴变化来实现。因此若对整张人脸表情图像进行特征提取，容易导致部分表情特征信息的丢失，在一定程度上损失了原有的特征信息，使得所取得的识别性能不太令人满意，此外提取到的特征维数都非常大，不利于下阶段的分类；同时识别精确度不高。

发明内容

本发明为了解决现有识别技术中，只对整张人脸表情图像进行特征提取，存在识别性能低下，提取到的特征维数都非常大，不利于下阶段的分类的问题，提供了一种基于显著表情变化区域辅助学习的人脸识别方法，其通过辅助学习网络与主网络之间进行参数共享，有效提高识别精度。

为实现上述本发明目的，采用的技术方案如下：一种基于显著表情变化区域辅助学习的人脸表情识别方法，该识别方法如下：

S1：搭建一个包括5层特征提取层的主网络用于人脸表情特征的提取，将提取后的高层语义特征输入到全连接层中，再将全连接层输出的特征输入到 Softmax分类层中进行表情的分类操作，得到网络判定的表情结果；

S2：搭建一个包括5层特征提取层的辅助学习网络用于提取人脸中显著的表情特征，将提取后的高层语义特征输入到全连接层中，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果；

S3：将主网络和辅助学习网络的前3层特征提取层的参数进行共享；然后将辅助学习网络的第四层和第五层特征提取层的输出特征分别和主网络的第四层和第五层特征提取层的输出特征进行加权融合，然后把融合后的特征进行输入到主网络中来继续辅助主网络的高层语义特征的提取工作；

S4：主网络、辅助学习网络均采用交叉熵损失函数对网络损失进行判定，根据网络损失判定的结果进行网络的反向传播，调整主网络、辅助学习网络的参数，不断优化主网络、辅助学习网络；

S5：使用人脸检测和定位算法对带有人脸表情标签的人脸表情数据集分别提取出每一张图像中相应的人脸区域图像，将其输入主网络中进行训练；同时将人脸区域图像进行预处理得到具有表情显著变化区域的图像，将其输入到辅助学习网络中进行训练；采用交替训练的方式对主网络与辅助学习网络进行训练；

S6：将待识别的人脸表情图像输出主网络中，完成人脸表情识别。

优选地，所述主网络的5层特征提取层、辅助学习网络的5层特征提取层中的每一层特征提取层均包括卷积层，池化层，Batch Normalization层和ReLU层；主网络的5层特征提取层、辅助学习网络的5层特征提取层均用于对人脸表情特征提取。