[发明专利]训练跨域人脸表情识别模型、人脸表情识别的方法及系统

说明书

本发明公开了一种训练跨域人脸表情识别模型、人脸表情识别的方法及系统，其中训练方法包括：首先构建人脸全局‑局部特征图，利用源域的表情标签及特征图对特征提取器及分类器进行预训练；基于源域和目标域的图像及源域表情标签利用预设目标函数约束，将预训练好的特征提取器与判别器进行对抗式迁移学习，预训练好的分类器自适应微调，得到进行训练好的特征提取器、分类器及判别器；将训练好的特征提取器、分类器、判别器及人特征图组成跨域人脸表情识别模型，该方法将图传播机制与对抗学习相集成，实现跨领域人脸表情识别的整体特征与局部特征的相适应，利用对抗式领域自适应图表征以及人脸特征全局‑局部图提高跨场景人脸表情识别准确率。

技术领域

本发明涉及人脸表情领域，具体涉及一种训练跨域人脸表情识别模型、人脸表情识别的方法及系统。

背景技术

人脸表情识别属于计算机视觉中的一个方向，用于判断人的情绪状态，通常应用于人机交互或安保监控中。人们构建了许多人脸表情识别数据集(包括受控环境与非受控环境)，并在此基础上提出了许多人脸表情识别算法，取得了不错的成绩。但是由于文化环境以及个体差异，人们对于人脸表情的理解并不完全统一，这使得各个数据集的标注数据存在偏差，导致大部分人脸表情识别算法无法很好的进行跨数据集/跨领域识别，从而导致大部分人脸表情识别算法在工业界落地时需要各个场景下的大量标注数据。有的跨场景/跨领域的人脸表情识别算法，引入领域迁移程度超参，对于不同目标域数据集需将该超参设置不同数值，需大量实验进行探究，无法做到较好的通用设置，且仅使用人脸全局特征，并未考虑人脸局部特征以及人脸全局特征与局部特征间的关联，识别效果不佳。

发明内容

因此，本发明提供的一种训练跨域人脸表情识别模型、人脸表情识别的方法及系统，克服了现有技术中进行跨数据集/跨领域的人脸识别时效果差缺陷。

第一方面，本发明实施例提供一种训练跨域人脸表情识别模型的方法，包括如下步骤：根据目标域和源域的人脸特征及目标域和源域特征的对应关系，构建人脸全局-局部特征图；利用源域特征数据集的表情标签及所述人脸全局-局部特征图对特征提取器及分类器进行预训练；基于源域和目标域的图像及源域特征数据集的表情标签利用预设目标函数约束，将预训练好的特征提取器与引入的判别器进行对抗式迁移学习，同时所述预训练好的分类器进行自适应微调，得到进行训练好的特征提取器、分类器及判别器；将训练好的特征提取器、分类器、判别器及人脸全局-局部特征图组成跨域人脸表情识别模型。

在一实施例中，所述人脸特征全局-局部关联图G通过以下数学表达式进行表示：

G＝(V,A)，

其中，V＝{v^s_h,v^s_le,v^s_re,v^s_no,v^s_lm,,v^s_rm,v^t_h,v^t_le,v^t_re,v^t_no,v^t_lm,,v^t_rm}，