[发明专利]一种基于渐进式的碑文文字图像修复模型及修复方法

说明书

本发明涉及一种基于渐进式的碑文文字图像修复模型及修复方法，属于计算机视觉领域，模型包括预处理模块、特征推理模块和自适应门控特征融合模块，预处理模块利用部分卷积对传入的掩码图和特征图进行卷积，并送到特征推理模块；特征推理模块与预处理模块进行连接重复处理4‑8次，然后将若干次得到的特征图传送到自适应门控特征融合模块，自适应门控特征融合模块通过加入门控卷积对真实图像进行渐进式修复，将若干个特征图合并成一个特征图得到修复后的图像。本发明利用带注意力机制的编码器和解码器结构，对于掩码图像的边缘进行修复，寻找质量最好的特征值去填充特征图，填补好的特征图进行保存，缩小掩码边界，从而达到渐进性的修复效果。

技术领域

本发明涉及一种基于渐进式的碑文文字图像修复模型及修复方法，属于计算机视觉技术领域。

背景技术

图像修复起源于对艺术品的修复，尽可能地与原画相匹配。目的是使用合理的内容消除图像中不需要的区域或者以合理精细的内容填充图像中缺失的区域。基于深度学习的图像修复领域在近几年发展迅速，在2016年的CVPR的会议上，Pathak等人提出了一个基于上下文编码器的图像修复手段，结合了带有通道全连接层的卷积神经网络CNN以及对抗生成网络GAN，展示了卷积神经网络在图像修复的潜力。不过此类算法以及后续的算法改进都是基于图像中心矩形区域进行的图像修复工作，由于现实场景中图像的损坏区域很多都是不规则涂抹，中心矩形区域具有很大局限性。Iizuka等人和Yu等人提出了针对不规则图像涂抹的修复算法，不再局限在图像的中心矩形区域修复，但是这些算法的后处理比较繁琐。Liu等人在2018年的ECCV提出的PConv方法，不依靠繁琐的后处理，卷积的结果针对有效元素采用部分卷积的方式，不局限于中心缺失元素而可以处理不规则的孔洞。在现实场景下，图像修复需要处理大面积的受损图像。对于大面积不规则的涂抹，图像修复算法需要有效像素间的特征提取和周边区域进行学习。现有的算法对于大空洞的图片影响修复效果不够突出，Li等人提出了循环特征推理(Recurrent Feature Reasoning,RFR)模块，能多次循环递归式地完善特征图，提出的知识一致注意力模型对于背景纹理问题有极大改善。

碑文图像修复作为图像修复的一个分支，起步阶段较晚。目前针对文字图像修复，大多针对英文这种简单结构字体。中文具有拓扑结构以及数量众多的特点，针对中文图像修复具有很大的挑战。目前针对文字图像修复的工作不多，对于残缺的书法碑文作品需要人工的手动修复。对于不规则缺失的文本图像信息干扰，没有很好的修复方法。如Chen等人提出了一种基于双判别器的彝文手写体文字修复方法。这种方法可以有效修复彝文文字的结构，但是对于复杂的字体修复效果较差。汉字是具有拓扑结构，根据偏旁等汉字组件信息可以进行对汉字的修复工作。初期的研究工作很多结合了计算机图形学和字形的拓扑结构。由于汉字的变形、枯笔、残笔、笔画模糊等特点，这些算法会让字形失去原有的风格从而降低修复准确率。

近几年深度学习的快速发展，也使得图像修复发展在深度学习领域结合发展。目前已经提出的图像修复方法中，针对中文文字修复大多运用基于样本的图像修复、对抗生成网络和卷积神经网络。基于样本的图像修复受制于样本的数量，碑文文字图像没有公开的数据集。目前，大多研究者对于碑文等汉字图像的修复采用对抗生成网络，基于无监督的对抗生成网络没有根据周围信息进行图像修复，会产生一些错误的字符结构，令修复结果只是看起来像字但是错误的结果。卷积神经网络会利用掩码区域的周围信息来修复图像，然而随着网络结构的加深，它会产生错误的修复结构和一些不好的纹理信息。

发明内容

为了解决现有技术的不足，本发明提供一种基于渐进式的碑文文字图像修复模型及修复方法，利用带注意力机制的编码器和解码器结构，对于掩码图像的边缘进行修复，寻找质量最好的特征值去填充特征图，填补好的特征图进行保存，缩小掩码边界，从而达到渐进性的修复效果。

发明概述：

收集和整理碑文文字数据集是深度学习中不可或缺的一环。