[发明专利]训练跨域人脸表情识别模型、人脸表情识别的方法及系统

权利要求书

1.一种训练跨域人脸表情识别模型的方法，其特征在于，包括如下步骤：

根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图；

利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练；

基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时所述预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器；

将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。

2.根据权利要求1所述的训练跨域人脸表情识别模型的方法，其特征在于，所述人脸特征全局-局部关联图G通过以下数学表达式进行表示：

G＝(V,A)，

其中，V＝{v^s_h,v^s_le,v^s_re,v^s_no,v^s_lm,,v^s_rm,v^t_h,v^t_le,v^t_re,v^t_no,v^t_lm,,v^t_rm}，v^s_h表示源域的全局特征，v^s_le表示源域的左眼区域的局部特征，v^s_re表示源域的右眼区域的局部特征，v^s_no表示源域的鼻子区域的局部特征，v^s_lm表示源域的左嘴角区域的局部特征，v^s_rm表示源域的右嘴角区域的局部特征，v^t_h,v^t_le,v^t_re,v^t_no,v^t_lm,,v^t_rm分别表示对应源域的目标域特征，A为人脸特征全局-局部关联图的邻接矩阵。

3.根据权利要求2所述的训练跨域人脸表情识别模型的方法，其特征在于，人脸特征全局-局部关联图的邻接矩阵包括：同域链接和跨域链接，其中，同域链接包括全局-局部链接和局部-局部链接，跨域链接包括对应点链接、全局-局部链接和局部-局部链接。

4.根据权利要求1所述的训练跨域人脸表情识别模型的方法，其特征在于，所述利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练的步骤，包括：

利用源域特征数据集的表情标签对特征提取器和分类器进行预训练；

利用预训练好的特征提取器源域和目标域人脸特征，统计源域和目标域的全局及局部特征，得到特征分布模型；

将源域特征数据集图像输入预训练好的特征提取器，得到源域的人脸特征；

基于特征分布模型得到目标域的人脸统计特征，将源域的人脸特征及目标域的人脸统计特征输入到到人脸全局-局部特征图进行关联学习，得到优化后全局及局部特征，将优化后全局及局部特征输入分类器的人脸识别结果，其过程基于预设的损失函数约束，对特征提取器、全局-局部特征图及分类器进行训练。