[发明专利]一种基于显著表情变化区域辅助学习的人脸表情识别方法

摘要

本发明公开了一种基于显著表情变化区域辅助学习的人脸表情识别方法，其搭建一个辅助学习网络对人脸表情图像中的显著表情变化区域进行特征提取，将主网络与辅助学习网络的前3层特征提取层的参数进行共享，将辅助学习网络的第四层、第五层特征提取层提取的特征与主网络的第四层、第五层进行特征加权融合，使得主网络结构可以学习到辅助网络中的一些显著表情区域的特征；使用人脸检测和定位算法对人脸表情数据集进行处理得到人脸区域图像，用于对主网络进行训练；将人脸区域图像进行预处理得到具有表情显著变化区域的图像，用于对辅助学习网络进行训练，使得表情识别的主网络可以更加集中注意力在显著表情变化的区域，从而提取更加具有辨识力和鲁棒性的表情特征。

主权项

1.一种基于显著表情变化区域辅助学习的人脸表情识别方法，其特征在于：该识别方法如下：S1：搭建一个包括5层特征提取层的主网络用于人脸表情特征的提取，将提取后的高层语义特征输入到全连接层中，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果；S2：搭建一个包括5层特征提取层的辅助学习网络用于提取人脸中显著的表情特征，将提取后的高层语义特征输入到全连接层中，再将全连接层输出的特征输入到Softmax分类层中进行表情的分类操作，得到网络判定的表情结果；S3：将主网络和辅助学习网络的前3层特征提取层的参数进行共享；然后将辅助学习网络的第四层和第五层特征提取层的输出特征分别和主网络第四层和第五层特征提取层的输出特征进行加权融合，然后把融合后的特征进行输入到主网络中来继续辅助主网络的高层语义特征的提取工作；S4：主网络、辅助学习网络均采用交叉熵损失函数对网络损失进行判定，根据网络损失判定的结果进行网络的反向传播，调整主网络、辅助学习网络的参数，不断优化主网络、辅助学习网络；S5：使用人脸检测和定位算法对带有人脸表情标签的人脸表情数据集分别提取出每一张图像中相应的人脸区域图像，将其输入主网络中进行训练；同时将人脸区域图像进行预处理得到具有表情显著变化区域的图像，将其输入到辅助学习网络中进行训练；采用交替训练的方式对主网络与辅助学习网络进行训练；S6：将待识别的人脸表情图像输出主网络中，完成人脸表情识别。