[发明专利]一种基于深度时空特征的高精度面部表情识别方法

摘要

本发明公开了一种基于深度时空特征的高精度面部表情识别方法，该方法首先是设计了一种端到端可训练的多通道深度神经网络模型，该模型在低层利用多个并联的深度神经网络分别提取人脸表情图像的深度时空特征，然后在高层使用全连接层对多通道深度时空特征数据进行融合，最高层采用softmax层进行识别得到表情分类。该模型将图像特征提取和特征融合整合为一个可以进行全局训练的网络，加深了网络规模，提高了识别性能。第二个创新点是本发明使用平均脸来替代中性脸，这种做法解决了测试时表情图像缺少对应的中性脸图像的问题，使得本发明可以满足实际场合的应用。本发明在表情识别领域提供了一种新的思路，具有很高的实用价值和发展前景。

主权项

一种基于深度时空特征的高精度面部表情识别方法，其特征在于，该方法的具体步骤如下：步骤A，构建多通道卷积神经网络MCCNN模型；步骤B，对公开的人脸表情数据库中的图像集Iraw进行人脸检测和配准处理，获得配准后的人脸表情图像集Iface；步骤C，对步骤B得到的Iface中的中性脸图像进行分组，并对每组中的图像进行求和平均，得到相应的平均脸图像集Imean；其中，分组的方法为：首先根据不同肤色进行分组，然后在按肤色分组的基础上根据不同性别进行分组，最后在按性别分组的基础上根据不同年龄进行分组；步骤D，利用基于梯度的光流算法求出步骤B得到的Iface中的图像相对于步骤C中得到的Imean中对应平均脸图像的X、Y方向的光流特征图像Iofx、Iofy；步骤E，利用大规模目标识别图像数据库对MCCNN模型进行预训练，获得MCCNN模型的预训练参数；步骤F，利用步骤B中得到的Iface以及步骤D中得到的Iface对应的Iofx、Iofy，对步骤E中预训练完成的MCCNN模型进行迁移学习；步骤G，通过步骤F中迁移学习完成的MCCNN模型进行表情识别，最后用测试图像进行测试。