[发明专利]表情识别方法、装置、电子设备和存储介质

权利要求书

1.一种表情识别方法，其特征在于，包括：

基于编码网络，确定待识别的人脸图像的图像特征；

基于表情提取网络，对所述图像特征进行表情特征提取，得到表情特征；

基于表情分类网络，对所述表情特征进行表情识别；

所述表情提取网络基于基准图像和第一图像之间的第一表情特征相似度，以及所述基准图像和第二图像之间的第二表情特征相似度训练得到，所述基准图像、第一图像和第二图像对应样本人脸视频中的同一人脸，所述基准图像与所述第一图像间的时间间隔小于所述基准图像与所述第二图像间的时间间隔。

2.根据权利要求1所述的表情识别方法，其特征在于，所述编码网络和所述表情提取网络基于如下步骤训练得到：

确定初始提取网络，所述初始提取网络包括初始编码网络和初始表情提取分支；

基于所述初始提取网络，分别确定所述基准图像、所述第一图像和所述第二图像的预测表情特征；

基于所述基准图像和所述第一图像的预测表情特征，确定所述第一表情特征相似度，基于所述基准图像和所述第二图像的预测表情特征，确定所述第二表情特征相似度；

基于所述第一表情特征相似度和所述第二表情特征相似度，确定表情提取损失；

基于所述表情提取损失，对所述初始提取网络进行训练，得到所述编码网络和所述表情提取网络。

3.根据权利要求2所述的表情识别方法，其特征在于，所述基于所述第一表情特征相似度和所述第二表情特征相似度，确定表情提取损失，包括：

基于所述第一表情特征相似度和所述第二表情特征相似度之间的差值，确定表情提取损失。

4.根据权利要求2所述的表情识别方法，其特征在于，所述初始提取网络还包括初始身份提取分支；

所述基于所述表情提取损失，对所述初始提取网络进行训练，包括：

基于所述初始编码网络，确定样本图像的预测图像特征；

基于所述初始身份提取分支，对所述样本图像的预测图像特征进行身份特征提取，得到所述样本图像的预测身份特征；

基于对应同一人脸的各样本图像的预测身份特征，确定第一身份特征相似度，基于对应不同人脸的各样本图像的预测身份特征，确定第二身份特征相似度；

基于所述第一身份特征相似度和第二身份特征相似度，确定身份提取损失；

基于所述表情提取损失和所述身份提取损失，对所述初始提取网络进行训练。

5.根据权利要求4所述的表情识别方法，其特征在于，所述初始提取网络还包括初始解码网络；

所述基于所述表情提取损失和所述身份提取损失，对所述初始提取网络进行训练，包括：

基于所述初始解码网络，对所述样本图像的预测表情特征和预测身份特征进行特征解码，得到所述样本图像的重建图像特征；

基于所述样本图像的预测图像特征和重建图像特征，确定解码损失；

基于所述表情提取损失和所述身份提取损失，以及所述解码损失，对所述初始提取网络进行训练。

6.根据权利要求5所述的表情识别方法，其特征在于，所述基于所述表情提取损失和所述身份提取损失，以及所述解码损失，对所述初始提取网络进行训练，包括：

基于所述表情提取损失和所述身份提取损失，以及所述解码损失，对所述初始提取网络进行第一阶段训练，得到第一阶段训练后的初始提取网络作为第一提取网络；

基于对应不同人脸的样本图像的预测身份特征和预测表情特征，生成扰动特征；

基于所述第一提取网络中的第一解码网络，对所述扰动特征进行特征解码，得到扰动重建特征；

基于所述第一提取网络中的第一表情提取分支，对所述扰动重建特征进行表情特征提取，得到所述扰动特征的重建表情特征，和/或，基于所述第一提取网络中的第一身份提取分支，对所述扰动重建特征进行身份特征提取，得到所述扰动特征的重建身份特征；

基于所述扰动特征的重建表情特征和预测表情特征，确定表情扰动损失，和/或，基于所述扰动特征的重建身份特征和预测身份特征，确定身份扰动损失；

基于所述表情提取损失和所述表情扰动损失，和/或，基于所述身份提取损失和所述身份扰动损失，对所述第一表情提取分支和/或所述第一身份提取分支进行训练。