[发明专利]基于自适应上下文注意力机制的口罩遮挡人脸恢复方法

权利要求书

1.一种基于自适应上下文注意力机制的口罩遮挡人脸恢复方法，其特征在于，包括：

1)从互联网上下载预先训练好分割口罩图像的全卷积神经网络FCN网络和未训练的U型网络U-Net；

2)构建由两个卷积层和一个反卷积层级联组成的自适应上下文注意力机制模块，并将该自适应上下文注意力机制模块与四层卷积层级联和四层级联的卷积层并联，得到的结果和五层反卷积层级联，组成图像精细恢复网络；

3)构建由两个依次连接的六个卷积层和两个全连接层级联组成的全局和口罩遮挡区域判别网络；

4)采集成对的口罩遮挡和无遮挡的人脸图像，并将这两部分图像分别放置于无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2，按照1:1的近似比将无遮挡图像文件夹W1和有口罩遮挡图像文件夹W2中的图片对划分为训练集和测试集；

5)将有口罩遮挡图像文件夹W2中的训练集和测试集图像输入到预先训练好的FCN网络中，分别得到训练口罩掩膜和测试口罩掩膜；

6)将有口罩遮挡图像文件夹W2中的训练集图像输入U型网络U-Net中，利用随机梯度下降的方式对其进行训练，得到训练好的U型网络U-Net模型；

7)将有口罩遮挡图像文件夹W2中的训练集和测试集图像输入到训练好的U型网络U-Net中，分别得到训练粗恢复图像和测试粗恢复图像；

8)将训练粗恢复图像和训练口罩掩膜输入图像精细恢复网络中，利用随机梯度下降的方式对图像精细恢复网络进行训练，得到初步训练好的图像精细恢复网络；

9)将训练粗恢复图像和训练口罩掩膜输入到初步训练好的图像精细恢复网络中，得到精细恢复图像；

10)将精细恢复图像、训练口罩掩膜和无遮挡图像文件夹W1中与精细恢复图像对应的训练集图像输入到全局和口罩遮挡区域判别网络中，利用随机梯度下降的方式对其进行训练，得到训练好的全局和口罩遮挡区域判别网络；

11)将精细恢复图像和训练口罩掩膜输入到训练好的全局和口罩遮挡区域判别网络中，利用得到的判别值对初步训练好的图像精细恢复网络进行再一次训练，得到最终训练好的图像精细恢复网络；

12)将测试粗恢复图像和测试口罩掩膜输入到最终训练好的图像精细恢复网络中，得到最终精细恢复图像。

2.如权利要求1所述的方法，其特征在于，2)中自适应上下文注意力机制模块中的两个的卷积层Conv1和Conv2，其卷积核的大小均为3×3、步长为1、激活函数为Relu，用于对图像注意力图Attention_map1的数值进行更新。

3.如权利要求1所述的方法，其特征在于，2)中自适应上下文注意力机制模块中的反卷积层Dconv1，其大小为4×4×96，步长为1、激活函数为Relu、以数值更新后的Attention_map1作为卷积核，用于对图像特征进行反卷积的操作，获取图像的上下文特征F_ca。

4.如权利要求1所述的方法，其特征在于，2)中构建的图像精细恢复网络，其包括三条支路，第一支路由第1卷积层-第2卷积层-第3卷积层-第4卷积层-自适应上下文注意力机制模块级联组成，第二支路由第5卷积层-第6卷积层-第7卷积层-第8卷积层依次级联组成，第三支路由第1反卷积层-第2反卷积层-第3反卷积层-第4反卷积层-第5反卷积层组成的级联组成，该第一支路与第二支路并联后，再与第三支路级联，组成图像精细恢复网络，每个卷积层和反卷积层的卷积核大小均为3×3。

5.如权利要求1所述的方法，其特征在于，3)中构建的全局和口罩遮挡区域判别网络，其结构为：

第一卷积层-第二卷积层-第三卷积层-第四卷积层-第五卷积层-第六卷积层-第一全连接层-第二全连接层-Sigmoid函数，其中：

每个卷积层的卷积核大小均为3×3，步长为2；

第一全连接层的大小为1×512；

第二全连接层的大小为1×1；

Sigmoid函数的表达式为：x表示输入，S(x)表示输出。