[发明专利]基于注意力调制对抗网络的图像修复方法、模型和装置

说明书

本发明公开了一种基于注意力调制对抗网络的图像修复方法、模型和装置：模型构建方法：步骤1：采集多幅墓葬壁画的图像；步骤2：将有实际破损的图像分为训练集、测试集、验证集；步骤3：将无实际破损的图像作为修复模型的训练集；步骤4：将训练集和测试集以及图像破损区位置送入改进后的检测网络中训练；步骤5：将修复模型的训练集和随机生成的二值掩码图像送入改进后的调制对抗生成网络中训练；步骤6：验证集送入检测模型再转换为二值图；步骤7：将壁画图像与二值图送入训练好的修复网络，得到修复好的图像。本发明能更有效地提取墓葬壁画特征，提高破损区域检测的准确性，并利用未破损图像结构和纹理信息重建高质量墓葬壁画图像。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于注意力调制对抗网络的图像修复方法、模型和装置。

背景技术

中国古代壁画作为我国灿烂文化遗产中的一种独特的载体，不仅具有极高的艺术价值，还是研究我国古代社会风俗、生产生活方式的重要资料。但如今发现的墓葬壁画破损现象非常普遍，要想对其开展进一步研究，首要问题就是要对破损的墓葬壁画进行修复与保护。近年来，对于壁画的修复工作大多是人工进行修复，借助各种分析检测仪器以及新材料对传统的壁画修复方法进行升级。然而，借助新科技手段升级后的壁画修复方法依然存在着诸多问题。遭遇盗扰和破坏的墓葬壁画往往会有严重断裂和脱落现象，这导致了人工修复工作量大，工序复杂，修复周期过长等问题。对于不同的埋葬环境以及墓葬壁画不同的保存状况还要再具体调整修复方法，以免造成二次破坏。由此可见，墓葬壁画的人工修复难度较大，对修复人员的技术素养要求也较高。

对于人工壁画修复方法存在的问题，虚拟壁画修复方法提供了一个新的解决思路。虚拟壁画修复方法通过对高分辨率破损壁画图像的数字化修复，将壁画信息与文物本体分离开，可在不对原壁画进行操作的前提下恢复破损壁画的原貌，减少人工重复的工作量，更快的让艺术作品重现于世，同时符合“最小干预”理念，避免由于当今的技术问题而导致壁画的二次破坏现象，保留壁画最原始的信息，为壁画保护工作提供了支持。

对于破损墓葬壁画的修复工作，可以分为破损区检测以及破损区修复两个方面，其中在成功检测到了图片的破损区域后，可以依据破损区域生成掩模，只有根据掩模以及原图片才可以对图片进行针对性的修复，所以如何精准的检测到破损区域对于图片的修复是十分必要的前提条件。

在墓葬壁画破损区检测部分，现有的两阶段和基于查询的实例分割方法取得了显著成果。但是，它们的分段掩码仍然非常粗糙。因此有学者提出了用于高质量和高效实例分割的方法。该方法不是对常规密集张量进行操作，而是将图像区域分解并表示为四叉树。虽然这些稀疏像素只占总数的一小部分，但它们对最终的掩模质量至关重要。这使得该方法以较低的计算成本预测高度准确的实例掩码。

在墓葬壁画破损区修复部分，现有的图像修复方法大致可分为两类：传统图像修复方法和基于深度学习的图像修复方法。传统图像修复方法利用纹理、结构等低层次的图像先验信息，对小面积破损区域具有一定修复能力，但当破损区域较大时往往效果较差。基于深度学习的图像修复方法可以通过端到端的方式学习到深层次的图像语义特征，从而更加有效地对图像进行修复，其性能也超过了传统方法。早期的深度修复网络仅局限于针对矩形孔洞的修复，并且大多直接在破损图像上使用卷积滤波器，忽略了缺失区域对于图像修复结果的干扰，导致修复后图像出现纹理缺失、颜色失真、人造边缘以及各种类型的视觉伪影。近几年，生成对抗网络在图像编辑，图像生成等领域表现出色，有学者将生成对抗网络用于图像修复领域，通过在生成对抗网络上增加协同调制等改进方法，在图像修复上取得了不错的效果。基于协同调制的生成对抗网络修复方法的关键在于将未破损部分的图像和潜在随机向量进行协同调制，利用二者在风格领域的线性相关性来提升生成对抗网络的生成效果，从而实现图像修复。