[发明专利]一种源域数据无关的跨域人脸表情识别方法

权利要求书

1.一种源域数据无关的跨域人脸表情识别方法，其特征在于，包括如下步骤：

步骤1：数据预处理及扩充；

对源域图像集和目标域图像集中的图像进行人脸检测后，再进行人脸裁剪，得到人脸图像；

再对人脸图像进行镜面翻转变换、旋转变换、引入高斯噪声的数据增强方式，并将处理后的人脸图像作为源域样本和目标域样本分别放到源域图像训练集和目标域图像训练集中，起到扩充数据的目的；

步骤2：构建源域数据无关的跨域人脸表情识别模型；

构建源域模型：所述源域模型的骨干网络采用卷积神经网络IR-50；源域模型的特征提取器骨干部分由4个残差层组成，每个残差层由多个残差单元组成；将分类器中的单层全连接层替换为一个瓶颈层和一个任务相关的全连接层，所述瓶颈层包括一个单层全连接层、一个批量归一化层；所述任务相关的全连接层包括一个单层全连接层、一个权重归一化层；

构建目标域模型：采用源域图像训练集训练源域模型，将训练完成的源域模型作为目标域模型；

步骤3：基于源域数据无关自适应损失的表情类别判定；

步骤3-1：构建源域数据无关自适应损失函数，包括如下4部分；

步骤3-1-1：Tsallis熵损失；

定义Tsallis熵如式(1)：

其中α0，为熵指数；y_[i]表示预测标签，i为预测标签数量；根据Tsallis熵最小化的要求，Tsallis熵损失的表达式为：

其中f_t表示目标域模型；x_t表示来自目标域图像训练集中的样本；f_t(x_t)＝h_t(g_t(x_t))表示目标域样本的K维逻辑输出，g_t(x_t)表示x_t经过特征提取器g_t得到的输出；δ_k表示经过Softmax激活；

步骤3-1-2：标签多样化损失；

定义为：

其中为目标域样本预测标签的平均期望，δ(.)表示激活函数；

步骤3-1-3：伪标签交叉熵损失；

表达式为：

其中表示目标域模型f_t由特征提取器g_t和分类器h_t组成，表示指示函数，表示目标域样本x_t的伪标签；

步骤3-1-4：局部分布平滑损失；

表达式为：

其中r_vadv表示在目标域样本x_t加入的扰动，D[q,p]是一个非负函数，用于衡量p和q之间分布的差异，p(y∣x_t,f_t)表示不加扰动时的预测标签分布，p(y∣x_t+r_vadv,f_t)表示加入扰动后的预测标签分布；

步骤3-1-5：将Tsallis熵损失、标签多样化损失、伪标签交叉熵损失和局部分布平滑损失结合，构建源域数据无关自适应损失函数：

其中λ和β为超参数，用于平衡各损失；

步骤3-2：使用目标域图像训练集训练目标域模型，在训练时保持分类器参数不变，首先提取目标域样本的特征，并根据K-means聚类获得每个类别特征的聚类中心；随后，根据样本特征点与类别特征聚类中心的远近，得到目标域样本的伪标签，根据更新的伪标签重新更新聚类中心；然后再开始更新分类器参数，同时不断更新目标域样本的伪标签和每个类别的特征聚类中心，直到源域数据无关自适应损失函数最小；在训练时通过反向传播使用随机梯度下降法更新网络参数；

步骤3-3：使用训练完成的目标域模型实现人脸表情分类。