[发明专利]一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法

权利要求书

1.一种基于共享集成卷积神经网络的戏曲人物面部表情识别方法，其特征在于包括如下步骤：

步骤1，对收集的戏曲人物表情资源库进行预处理，裁去图片的整体信息，只保留戏曲人物的面部图片；

步骤2，将经步骤1处理后的图片其中一部分作为训练集，一部分作为验证集，剩下部分作为测试集，分批导入共享集成卷积神经网络；

步骤3，定义共享集成卷积神经网络模型的组合损失函数为每个分支函数的总和，组合损失函数L_esr如式(1)：

其中b代表卷积分支索引，(x_i,y_i)表示训练集中的随机样本，θ_shared代表共享层数，θ_b代表卷积分支的个数；

步骤4，提取戏曲人物面部低级特征，即面部肤色、纹理等特征，初始化共享层的卷积层数θ_shared，并在其后加入通道-空间注意力机制模块，有效减少网络冗余；

步骤5，提取戏曲演员关键表情，妆容特征，从第一层开始分支循环到最大的卷积层数，初始化卷积层的卷积分支数θ_b，将新的卷积分支加入到共享集成卷积神经网络中，动态添加卷积分支；

步骤6，随机选取训练集的一个子集训练集D进行小批量随机梯度下降，得到每一层的卷积分支的损失值L_b'，将其送入共享集成卷积神经网络中；

步骤7，利用反向传播算法，不断优化共享集成卷积神经网络，训练结果最优的卷积分支数以及共享层数；

步骤8，利用类激活热力图对戏曲人物面部可视化，获取模型输出相对于最后一个卷积层输出的梯度，表征出最后一层卷积层激活输出各点位的权重值式(2)为权重计算公式：

其中c代表类别，k代表特征图的通道数，A代表卷积输出的特征图，ij代表特征图的横纵坐标，Z表示特征图的尺寸，y^c代表某一类别对应的概率值；

步骤9，如公式(3)得到权重后将feature map的通道线性加权融合在一起即得到热力图：

步骤10，利用类激活热力图对融合后的热力图增加一个线性激活(Relu)操作，只保留对于类别c有正作用的区域其中线性激活(Relu)函数计算公式为：

f(x)＝max(0,x) (4)

步骤11，将步骤1处理后的图像与经过步骤9得到的特征图叠加后进行可视化，得到最终展示效果。

2.一种如权利要求1所述基于共享集成卷积神经网络的戏曲人物面部表情识别方法，其特征在于：所述步骤1中裁去图片的整体信息后并将人脸图像的大小调整为96*96像素大小，并进行归一化处理。

3.一种如权利要求1所述基于共享集成卷积神经网络的戏曲人物面部表情识别方法，其特征在于：所述步骤1中将处理后的70％的图片作为训练集，10％的图片作为验证集，20％的图片作为测试集，分批导入共享集成卷积神经网络。