[发明专利]一种基于LSK-FNet模型的图像修复方法

说明书

本发明涉及图像修复技术领域，具体公开了一种基于LSK‑FNet模型的图像修复方法，构建并训练边缘生成网络；构建并训练图像修复网络；将边缘生成网络和图像修复网络结合，形成端到端的LSK‑FNet模型，并对LSK‑FNet模型进行训练；利用LSK‑FNet模型对人脸图像进行修复。通过LSK‑FNet模型将图像修复的工作分为两个步骤：首先，利用边缘生成网络生成修复的边缘信息作为后续图像修复的先验信息；然后将生成的先验信息和破损原图一起放入图像修复网络中进行修复；通过在整个生成对抗网络中融入门控卷积来进行训练，并且在图像修复网络中利用了区域归一化来提高修复细节和精确度，避免修复后的图像存在边缘结构模糊、过度平滑、语义理解不合理、视觉伪影的现象，提升图像修复效果。

技术领域

本发明涉及图像修复技术领域，尤其涉及一种基于LSK-FNet模型的图像修复方法。

背景技术

图像修复(Image inpainting)技术是依据图像未破损区域的已知信息，来修复图像中缺失区域，使得主观上看到修复后的图像是合理的，并保持图像整体结构的连贯性，满足视觉连续性并符合当前图像场景的算法。

现有的图像修复使用生成对抗网络以及加入注意力机制等来增加脸部各要素之间的语义理解，但修复后的图像的存在边缘结构模糊、过度平滑、语义理解不合理、视觉伪影，修复效果差。

发明内容

本发明的目的在于提供一种基于LSK-FNet模型的图像修复方法，旨在解决现有技术中的修复后的图像的存在边缘结构模糊、过度平滑、语义理解不合理、视觉伪影，修复效果差的技术问题。

为实现上述目的，本发明采用的一种基于LSK-FNet模型的图像修复方法，包括如下步骤：

构建并训练边缘生成网络；

构建并训练图像修复网络；

将所述边缘生成网络和所述图像修复网络结合，形成端到端的LSK-FNet模型，并对所述LSK-FNet模型进行训练；

利用所述LSK-FNet模型对人脸图像进行修复。

其中，在构建并训练边缘生成网络的步骤中：

所述边缘生成网络由第一生成器和第一判别器组成，所述第一生成器包括向下采样两次的第一编码器、八个连续第一残差块以及向上采用两次的第一解码器，所述第一残差块中加入门控卷积模块。

其中，所述边缘生成网络基于深度卷积生成对抗网络模型。

其中，在构建并训练边缘生成网络的步骤中：

利用对抗损失函数和特征匹配损失函数训练所述对抗网络模型，得到所述边缘生成网络。

其中，在构建并训练图像修复网络的步骤中：

所述图像修复网络由第二生成器以及第二判别器组成，所述第二生成器由向下采样两次的第二编码器、八个连续第二残差块以及向上采用两次的第二解码器组成，所述第二残差块中加入门控卷积模块。

其中，在构建并训练图像修复网络的步骤中：

利用重建损失函数、对抗损失函数、风格损失函数和感知损失函数训练所述对抗网络模型，得到所述图像修复网络；且所述图像修复网络中使用区域归一化。

其中，将所述边缘生成网络和所述图像修复网络结合，形成端到端的 LSK-FNet模型，并对所述LSK-FNet模型进行训练，包括：

首先，通过所述边缘生成网络中的所述第一生成器来修复破损的边缘图像，并且输入由Canny算法所提取的完整边缘图像，通过训练边缘生成模型，来生成修复后的边缘图像；