[发明专利]一种源域数据无关的跨域人脸表情识别方法

说明书

本发明公开了一种源域数据无关的跨域人脸表情识别方法，首先对数据集中的数据进行人脸检测及裁剪等预处理；然后，针对在跨域人脸表情识别模型训练时源域数据访问受限的问题，构建了源域数据无关的跨域人脸表情识别模型；在计算模型损失时，本发明构建了源域数据无关的自适应损失函数，通过最小化Tsallis熵增加预测标签的确信度，同时最大化预测标签种类，据此联合计算信息最大化损失，随后计算交叉熵损失，还使用虚拟对抗训练的方法最小化模型的局部分布平滑损失。本发明直接从训练好的源域模型出发，解决了源域数据访问受限时较难进行跨域人脸表情识别的问题；进一步提高了人脸表情识别的准确率，实现了对人脸表情的高效识别。

技术领域

本发明属于模式识别技术领域，具体涉及一种跨域人脸表情识别方法。

背景技术

基于深度学习方法进行人脸表情识别，只有在训练集和测试集数据独立同分布时， 才能在测试集上取得良好的识别结果。然而在实际应用中，经常会遇到训练时所用的人脸表情数据(源域)和测试时的人脸表情数据(目标域)来自于不同分布的领域， 即跨域人脸表情识别问题。由于不同域之间的数据分布存在差异，这会导致直接使用 源域数据训练得到的人脸表情识别模型在目标域数据上的识别准确率表现不佳。同时 现在人们对隐私的关注和担忧越来越多，很多学者在公开自己算法的同时，选择不公 开数据集，这就使得其他人较难直接获取大量的人脸表情数据，从而进一步增大了跨 域人脸表情识别的难度。

文献“Chen T,Pu T,Wu H,et al.Cross-domain facial expressionrecognition:A unified evaluation benchmark and adversarial graph learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2021,doi:10.1109/TPAMI.2021.3131222.”公开了一种 跨域人脸表情识别方法，该方法首先对输入图像提取整体特征和局部特征，并构建两 个图网络分别关联同一领域内和不同领域之间的整体特征和局部特征。然后，使用不 同种类人脸表情的特征统计分布来初始化相应的图节点。最后，采用两个堆叠的图卷 积网络，一个在域内传播整体和局部特征，以此探索整体区域与局部区域的相互关系， 另一个在不同域间传播整体和局部特征，从而进行整体和局部特征的协同适应。但是， 该方法存在以下问题：该方法进行跨域人脸表情识别任务时，需要直接访问源域人脸 表情数据集，并基于源域数据进行无监督领域的自适应训练，而当源域数据访问受限 时该跨域人脸表情识别方法则无法使用。

发明内容

为了克服现有技术的不足，本发明提供了一种源域数据无关的跨域人脸表情识别方法，首先对数据集中的数据进行人脸检测及裁剪等预处理；然后，针对在跨域人脸 表情识别模型训练时源域数据访问受限的问题，构建了源域数据无关的跨域人脸表情 识别模型；在计算模型损失时，本发明构建了源域数据无关的自适应损失函数，通过 最小化Tsallis熵增加预测标签的确信度，同时最大化预测标签种类，据此联合计算信 息最大化损失，随后计算交叉熵损失，还使用虚拟对抗训练的方法最小化模型的局部 分布平滑损失。本发明直接从训练好的源域模型出发，解决了源域数据访问受限时较 难进行跨域人脸表情识别的问题；进一步提高了人脸表情识别的准确率，实现了对人 脸表情的高效识别。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：数据预处理及扩充；

对源域图像集和目标域图像集中的图像进行人脸检测后，再进行人脸裁剪，得到人脸图像；

再对人脸图像进行镜面翻转变换、旋转变换、引入高斯噪声的数据增强方式，并将处理后的人脸图像作为源域样本和目标域样本分别放到源域图像训练集和目标域图 像训练集中，起到扩充数据的目的；

步骤2：构建源域数据无关的跨域人脸表情识别模型；