[发明专利]一种图像修复方法、装置及设备

说明书

技术领域

本发明属于图像处理领域，尤其涉及一种图像修复方法、装置及设备。

背景技术

我国历史悠久，古人遗留下来了大量的文人古画。这些古画历经几百上千年，对于了解人类文明的发展具有重要价值。但是由于自然风化或人为的破坏等原因，对它们造成不同程度的损失或者残缺，严重地影响了它们的视觉效果以及鉴赏价值。因此，修复它们是一项非常有价值和有意义的工作。

目前，图像修复主要分为两类：基于像素的修复算法、基于图像块的修复算法。其中，基于像素的修复算法是对像素点进行操作，一般用于修复小面积破损模块，主要包括基于偏微分方程(英文全称为Partial differential equation,英文简称为PDE)算法、基于邻域模板及插值的算法等。基于图像块的修复算法是对图像块进行操作，一般用于修复大面积的破损模块，其主要包括：基于样本的修复算法、基于纹理合成的修复算法等。

由于目前的图像修复技术需要用户提供待修复区域模板，制作模板的好坏直接影响图像最后的修复效果，并且仅对小范围的损坏有较好的效果，但当破坏区域较大时，纹理图像的破损模块的修复会产生平滑效果，同时会产生一定程度的模糊。

发明内容

有鉴于此，本发明实施例提供了一种图像修复方法、装置及设备，以解决现有技术中需要用户提供待修复区域模板，且当破坏区域较大时，纹理图像的破损模块的修复会产生平滑效果，同时会产生一定程度的模糊的问题。

本发明实施例的第一方面提供了一种图像修复方法，所述图像修复方法包括：

由待修复的图像生成多个破损图像，确定所述破损图像所在位置对应的完好图像，所述破损图像为破损图像与完好图像融合的图像；

将所生成的多个破损图像与所述破损图像所在位置对应的完好图像作为训练样本，导入生成对抗网络的生成器，对生成器中的编码器和解码器之间进行特征融合，通过所述生成对抗网络学习所述待修复的图像的特征；

根据训练好的生成对抗网络对所述待修复的图像进行修复。

结合第一方面，在第一方面的第一种可能实现方式中，所述由待修复的图像生成多个破损图像的步骤包括：

在待修复的图像的完好图像处生成多个破损模块；

将所述破损模块中每个像素点的像素值，与所述破损模块的像素点的位置对应的完好图像的像素点的像素值融合，生成多个破损图像。

结合第一方面，在第一方面的第二种可能实现方式中，所述通过所述生成对抗网络学习所述待修复的图像的特征的步骤包括：

将所述破损图像导入生成器，通过所述生成器生成复原图像，通过判断网络计算得到的所述复原物图像和完好图像的相似度，根据所计算的相似度优化训练所述生成器；

将破损图像导入优化后的生成器生成复原图像，将生成的复原图像和完好图像导入所述判断网络，对所述判断网络进行优化训练；

重复对所述生成器和所述判断网络进行优化训练到预定次数，或者所述生成器和所述判断网络收敛。

结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述将所述破损图像导入生成器，通过所述生成器生成复原图像的步骤包括：

将所述破损图像导入编码器，通过第一卷积核和第二卷积和交替进行卷积运算，对所述破损图像进行降维运算；

将降维后的图像导入解码器，选择第一卷积核作为反卷积核，结合编码器中相同维度的特征进行反卷积运算，生成所述破损图像对应的复原图像。

结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述通过判断网络计算得到的所述复原物图像和完好图像的相似度的步骤包括：

选用所述解码器使用的第一卷积核，对所述复原图像和完好图像进行卷积降维运算，对降维后的图像通过激活函数确定所述复原图像和所述完好图像的相似度。

结合第一方面的第二种可能实现方式，在第一方面的第五种可能实现方式中，所述根据所计算的相似度优化训练所述生成器的步骤包括：

根据所计算的相似度优化训练所述生成器的损失函数：

L_G(G,D)＝λ_a×L_g+λ_b×L1，其中，L_G表示生成器的损失函数，且