[发明专利]基于生成对抗网络的新生儿疼痛表情识别方法

权利要求书

1.一种基于生成对抗网络的新生儿疼痛表情识别方法，其特征在于，所述方法包括以下步骤：

步骤S1：依据生成对抗网络来从姿态各异且可能存在遮挡的新生儿面部图像中恢复出无遮挡且姿态端正的面部图像；

步骤S2：将生成对抗网络中生成器的本征向量作为修正后的面部特征用于后续疼痛分析；

步骤S3：使用结合注意力机制的残差网络来筛选并分析修正后的面部特征，以进一步摆脱遮挡和姿态变化的干扰，输出准确的疼痛级别结果。

2.根据权利要求1所述的基于生成对抗网络的新生儿疼痛表情识别方法，其特征在于，所述的步骤S1的过程为：

生成对抗网络由生成器和判别器两部分组成，生成器负责在输入面部图像的基础上生成修正后的面部图像；判别器负责学习区分出生成器生成的图像和指导集中无遮挡且姿态端正的理想面部图像，指导集g由训练集中的所有理想面部图像组成，通过生成器和判别器的零和博弈，生成器将不断提升其将输入图像转换成无遮挡且面部端正图像的能力；在零和博弈的过程中由四个损失函数来负责生成器和判别器的训练，通过误差反向传播算法调整生成器和判别器的参数至最优，四个损失函数如下所述：

(1)对称性损失函数

对称性是正常人脸的固有特征，对称损失计算为：

其中H和W表示图像的高度和宽度，(n,m)表示图像的像素，|·|代表绝对值。现实世界的图像在像素级别不存在绝对的对称性，因此，决定最小化拉普拉斯空间中的对称性损失；

(2)对抗性损失函数

判别器网络充当监督者，负责将生成的人脸图像与理想图像区分开来，并与生成器同时训练，判别器是通过以下交叉熵损失函数进行训练：

L_GAN-Dis(g_i,x′_j)＝-log(Dis(g_i))-log(1-Dis(x′_j))

其中g_i代表指导集图像，GAN-Dis代表判别器，x_j’是生成器生成的图像；

对于生成器，对抗性损失函数的计算方式是：

L_GAN-Gen(x′_j)＝-log(Dis(x′_j))

其中GAN-Gen代表生成器，Dis代表判别器；

(3)身份保留损失函数

保留身份是理想人脸生成的关键部分，采用了感知损失，旨在保持感知相似性，以帮助疼痛特征修正模块获得身份保持能力，损失函数是基于开源的Light CNN中最后两层输出的特征图计算的：

其中H_l,W_l是最后第l层特征图的高度和宽度，Ω表示特征图，|·|表示绝对值，身份保留损失旨在使生成图像与原始图像在深度特征空间中具有较小的距离，考虑到Light CNN经过预训练后可以对数千个身份进行分类，认为它可以捕获最重要的人脸结构或特征进行身份识别；

(4)Total Variation正则化

为了提高生成图像的空间平滑度并减少尖峰伪影，采用了Total Variation正则化器，其定义如下：

其中H和W表示图像的高度和宽度，(n,m)表示图像的像素，x’是生成器生成的图像，|·|代表绝对值。

3.根据权利要求1或2所述的基于生成对抗网络的新生儿疼痛表情识别方法，其特征在于，所述的步骤S3的过程为：

使用结合注意力机制的残差网络来筛选并分析零和博弈修正后的面部疼痛特征，构建了一个与残差分支平行的注意力分支，它基于bottom-up top-down的结构，可以输出与残差结构中特征图尺寸相同的注意力掩码，对残差结构中的面部特征进行软加权；在bottom-up top-down的结构中，“下采样”是通过一系列的卷积操作和池化操作来实现的，而“上采样”是通过反卷积操作来实现的；这种自注意力机制输出的注意力掩码不仅可以用作前向传播中的特征选择器，还可以用作后向梯度更新中的过滤器，面部特征在注意力掩码作用下的梯度计算方式为：

其中M代表注意力分支，T代表残差分支，σ表示注意力分支参数，φ是残差分支参数。