[发明专利]一种基于几何感知先验引导的遮挡人脸修复方法

说明书

本发明公开了一种基于几何感知先验引导的遮挡人脸修复方法，包括如下步骤：步骤S1、建立人脸语义解析模块；步骤S2、将遮挡人脸图像输入到人脸语义解析模块中以获取人脸语义解析图；步骤S3、将人脸语义解析图、遮挡人脸图像和随机遮挡Mask拼接成5通道的图片，作为步骤S4中修复网络生成器的输入；步骤S4、构造修复网络生成器，得到最终修复图像；步骤S5、修复图像输入到全局判别器和局部判别器；步骤S6、用设计好的方法在公开数据集上进行实验并测试Peak Signal‑to‑Noise Ratio、Structural Similarity Index和Fréchet Inception Distance三个指标。

技术领域

本发明涉及图像处理技术，尤其是一种基于几何感知先验引导的遮挡人脸修复方法。

背景技术

图像修复技术是利用破损图像中未缺失区域信息，按照一定的修复规则，对图像中被污染或缺失的区域进行像素修补、填充，本质上是对像素之间复杂关系的建模，而这正是深度神经网络的优势所在。目前最具有代表性的生成模型为生成对抗网络GAN(Generative Adversarial Networks)。

现如今随着科技的发展及社会需求，人脸识别技术得到进一步的发展。但人脸图像获取时，不仅会受环境影响，而且存在人脸被遮挡的情况，这些因素都会影响人脸识别的准确率。随着此次席卷全球的肺炎疫情的发展，人们的公共卫生意识大幅提高，外出时佩戴口罩的现象大幅增加，遮挡情况成为所有人脸识别系统无法回避的问题。遮挡的存在一方面造成判别性信息大量丢失，另一方面会导致类内距离增大，类间距离减小，导致人脸识别算法的准确率大幅下降。因此有必要针对遮挡展开研究，尽可能保证遮挡情况下的识别不受影响。

有遮挡的人脸修复任务，不能将修复的重点仅仅集中于视觉上的语义一致性，更应该关注修复人脸的身份认证问题。以人脸识别为目的进行遮挡人脸修复，基本思路是引入与身份识别相关的损失函数。现有的方法提出一个包含LSTM解码器和双通道LSTM解码器的网络进行遮挡检测和修复，引入分类损失使身份信息损失最小化。虽然取得了一定成果，但尚有以下问题未解决：损失函数的计算依据是整个人脸的特征图，但遮挡只占人脸上的一部分区域，因此缺乏针对性；损失函数的计算一般采用L1或L2范数，会使修复后的人脸趋向于数据集的平均人脸，不利于后续识别；修复是一个估计的过程，不可信，修复不可避免，但是目前对修复的可信度缺乏评价方法，导致基于修复的应用缺乏理论支撑。

因此，基于上述问题亟需提出一种更加高效的、以人脸识别为目的的遮挡人脸修复方法。

发明内容

本发明需要解决的技术问题是提供一种基于几何感知先验引导的遮挡人脸修复方法，既能满足视觉上的语义一致性，又能满足修复人脸身份认证的遮挡人脸修复方法。

为解决上述技术问题，本发明所采用的技术方案是：一种基于几何感知先验引导的遮挡人脸修复方法，包括如下步骤：

步骤S1、建立人脸语义解析模块，人脸语义解析模块由BiseNet网络构成，BiseNet网络包括空间分支、上下文分支和特征融合模块；

步骤S2、将遮挡人脸图像输入到人脸语义解析模块中以获取人脸语义解析图；

步骤S3、将人脸语义解析图、遮挡人脸图像和随机遮挡Mask拼接成5通道的图片，作为步骤S4中生成器的输入，为遮挡人脸修复提供人脸几何先验知识；

步骤S4、构造生成器，生成器包括编码器和解码器，编码器根据遮挡人脸图像、随机遮挡Mask与人脸语义解析图生成目标人脸图像的人脸特征向量，根据人脸特征向量提取目标人脸图像中受遮挡区域对应的遮挡特征向量，解码器根据遮挡特征向量，生成遮挡部分图像，得到最终修复图像；

步骤S5、修复图像输入到全局判别器和局部判别器，其中局部判别器包括左眼局部判别器、右眼局部判别器和嘴局部判别器，引入具有左眼、右眼、嘴局部判别器的面部组件损失，并且基于判别器学习到的特征进行进一步的风格监督；