[发明专利]一种基于渐进式的碑文文字图像修复模型及修复方法

权利要求书

1.一种基于渐进式的碑文文字图像修复模型，其特征在于，包括依次连接的预处理模块、特征推理模块和自适应门控特征融合模块；

所述预处理模块包括两层部分卷积，用于根据掩码图对特征图进行有效像素的进行部分卷积并且对掩码图进行更新；

所述特征推理模块包括编码器、解码器以及位于编码器和解码器之间的知识一致性注意力机制，编码器包括6层普通卷积，解码器包括3层普通卷积；

所述自适应门控特征融合模块共9层，依次为反卷积、2层门控卷积、门控反卷积、门控卷积、门控反卷积、门控卷积、门控反卷积和门控卷积；

预处理模块利用部分卷积对传入的掩码图和特征图进行卷积，将部分卷积后的结果对特征图进行更新，将更新后的掩码图和特征图经过正则化层和一层激活函数后，送到特征推理模块；特征推理模块用于根据需要修复的位置进行修复，得到修复后的特征图，然后将特征图反馈给预处理模块，预处理模块再输入特征推理模块输出特征图，特征推理模块跟预处理模块进行连接重复处理4-8次并保存每一次的特征图，然后将若干次得到的特征图传送到自适应门控特征融合模块，自适应门控特征融合模块通过加入门控卷积对真实图像进行渐进式修复，将若干个特征图合并成一个特征图得到修复后的图像。

2.根据权利要求1所述的基于渐进式的碑文文字图像修复模型，其特征在于，预处理模块中部分卷积在卷积的过程中，只对有效像素进行操作，输入的掩码在卷积层里更新完成，掩码也在部分卷积的层数加深之下不断进行收缩；

部分卷积层的计算公式如下：

公式中：表示在第z通道x,y像素位置的特征值；W_z是通道z的卷积核；f_x,y和m_x,y是以x,y为中心并且尺寸与卷积核一样的输入特征块和掩码块；b表示卷积层滤波器的偏差，为放缩因子。

3.根据权利要求2所述的基于渐进式的碑文文字图像修复模型，其特征在于，预处理模块由部分卷积新生成位置i,j的掩码值公式为：

4.根据权利要求1所述的基于渐进式的碑文文字图像修复模型，其特征在于，特征推理模块中，特征推理模块与预处理模块循环迭代优选为6次，每次的循环中，特征推理模块的输出作为下一轮次的预处理模块的输入，以及每次的特征推理模块输出都会被记录，作为后来的融合使用。

5.根据权利要求1所述的基于渐进式的碑文文字图像修复模型，其特征在于，碑文文字图像修复模型总体更新所用的损失函数包括感知损失L_perceptual、风格损失L_style、待填充区域的L1损失L_mask以及非待填充区域的L1损失L_unmask四部分；

感知损失L_perceptual是真实图像生成的特征图与预测图像生成的特征图采用Vgg-16的特征输出，Vgg-16改变为适合灰度图的输入层，感知损失L_perceptual如下所示：

其中Φ代表VGG16网络，i代表VGG16的第i层的特征图作为使用输出，将VGG16设置为训练单通道灰度图的网络层，H_i，W_i，C_i分别为VGG16的第i层的高、宽、通道数；N为在VGG的第i层的特征点数量；I_out为输出的特征图像，I_gt为真实图像。

6.根据权利要求5所述的基于渐进式的碑文文字图像修复模型，其特征在于，计算风格损失L_style如下所示：

其中Φ代表VGG16网络，j代表VGG16的第j层的特征图作为使用输出，C_j,H_j,W_j分别代表高、宽、通道数，G代表计算格拉姆矩阵，是每个通道c的特征图和每个通道c^′的特征图的内积。