[发明专利]一种基于人脸动作单元的公平人脸表情识别方法

权利要求书

1.一种基于人脸动作单元的公平人脸表情识别方法，其特征在于，包括：

获取训练图片及人脸动作单元所在局部区域；构建平衡特征融合网络；对所述平衡特征融合网络添加权重分配，根据训练图片及人脸单元所在局部区域，通过联合损失函数对所述平衡特征融合网络进行优化，通过优化后的网络以实现公平人脸表情识别方法；

所述平衡特征融合网络包括：残差网络、局部区域特征提取网络、特征融合模块和注意力机制模块；其中通过所述残差网络对训练图片进行特征提取得到表情特征；通过所述局部区域特征提取网络对人脸动作单元所在局部区域进行特征提取，得到局部区域特征；通过所述特征融合模块用于对局部区域特征融合，并将融合后的特征与表情特征进行拼接，生成表情相关特征；通过所述注意力机制模块生成跨空间维度及通道维度的注意力图，通过注意力图对表情相关特征进行分类，生成人脸表情识别结果；

对所述平衡特征融合网络添加权重分配的过程包括：

在所述平衡特征融合网络中的所述特征融合模块中，对局部区域特征融合的过程中，训练图片及人脸动作单元所在局部区域，建立表情类别与局部区域的关系映射，将损失值大于表情类别平均损失值的表情类别进行筛选，基于关系映射，统计筛选后的表情类别中存在的局部区域的出现个数，对所述出现个数进行归一化处理，得到融合过程中的权重，根据所述权重对局部区域特征进行融合；

所述联合损失函数为交叉熵损失函数及平衡均方误差损失函数的和；

所述交叉熵损失函数为：

其中，/表示为样本数量，/表示为样本类别的数量，/样本/的真实类别取值，其中取值为0或1，/为真实类别，当样本/的真实类别时/则取1，否则取，/表示样本/属于真实类别/的预测概率；

平衡均方误差损失函数为：

其中，/表示样本的预测标签，/表示样本的真实标签，/表示一个训练批次样本的所有真实标签，/为第N个训练批次样本的真实标签，其中/表示温度系数。

2.根据权利要求1所述的方法，其特征在于：

获取训练图片及人脸动作单元所在局部区域的过程包括：

获取人脸表情图片，对人脸表情图片进行标准化，得到训练图片，通过人脸关键点检测获取训练图片中的人脸动作单元所在局部区域。

3.根据权利要求1所述的方法，其特征在于：

局部区域特征提取网络内包含感兴趣池化层。

4.根据权利要求1所述的方法，其特征在于：

注意力机制模块包括第一分支、第二分支及第三分支，通过第一分支及第二分支捕获通道和空间之间的跨维度交互信息，通过第三分支捕获空间的交互信息；每个分支都包含最大池化层和平均池化层，一个卷积层和激活函数，其中卷积层中的卷积核大小为3×3，激活函数是Sigmoid。