[发明专利]一种基于上下文融合的丝绸纹样图像修复方法

说明书

本发明公开了一种基于上下文融合的丝绸纹样图像修复方法。首先，构建丝绸纹样图像数据集。然后，搭建并训练第一阶段生成式对抗卷积神经网络，对含损丝绸纹样图像进行粗修复。接着，利用丝绸纹样图像中的纹样单元具有周期性复现的特点，在特征空间中，通过置信值计算、匹配搜索、加权求和，实现上下文融合。最后，搭建并训练第二阶段生成式对抗卷积神经网络，以上下文融合后的特征图作为输入，精确修复缺损区域。本发明以数字化手段实现丝绸纹样修复，有助于提高丝绸文物修复、保护、存储、检索、展示和传播等环节的自动化程度。

技术领域

本发明涉及一种基于上下文融合的丝绸纹样图像修复方法，属于图像处理技术领域。

背景技术

丝绸是中国古代劳动人民发明并大规模生产的纺织品。丝绸纹样是反映中国古代社会民族心理、哲学观念、审美意识和生活习俗的符号，是研究中国古代社会政治、经济结构、对外交流和文化变迁的载体。然而，丝绸文物历经千年的风蚀雨淋，使得丝绸纹样残缺不全。对残缺的丝绸纹样进行修复是保护丝绸文物的重要一环。

传统方法利用丝绸纹样单元具有周期性复现的特点，通过人工手绘实现修复。这不但要求从业人员具备扎实的专业知识和高超的绘画技艺，而且耗时费力，流程繁琐，效率低下，难以大规模推广。对丝绸文物进行成像，建立图像修复模型，再利用计算机实现求解，是数字化实现丝绸纹样修复的重要途径，具有自动化程度高的优势，有利于大规模应用。

基于扩散的方法利用偏微分方程或变分泛函模型来刻画上下文信息渐进传播的规律。然而，这类方法以图像的分段光滑先验为基本假设，只适用于修复结构简单、纹理同质、形状细长的小范围缺损。基于样本块的方法利用图像的自相似性等先验知识，以块为单位提取特征描述子，并按照某种相似性度量函数在样本库中搜索最佳匹配块，实现对缺损区域的填充。然而，这类方法存在着错误匹配、误差累积等问题，并且不具备语义推导能力，对于大面积缺损的修复效果不佳。近年来，以数据为驱动，以端到端模式进行训练的深度神经网络被广泛应用于识别、定位、分割、追踪、风格迁移等计算机视觉任务，取得了突破性的进展。上下文编码器(Context Encoder)[D.Pathak,J.Donahue,T.Darrell,A.A.Efros,Context Encoders:Feature Learning by Inpainting,IEEE Conference onComputer Vision and Pattern Recognition(CVPR),2016,2536-2544]是一种基于深度神经网络的图像修复方法，它将缺损像素值回归和低维流形逼近作为训练目标，同时考虑重构损失和对抗损失，成功地克服了修复区域模糊化的问题。然而，该方法忽略了图像的自相似性等先验知识，导致在修复的结果图像中存在着色彩畸变和纹理扭曲。中国专利申请“基于VAE-GAN与相似块搜索的人脸图像修复方法及装置”[专利申请号201910055717.9，公开号CN109903236A]采用上下文编码器的基本网络架构，设计了一种在图像空域考虑边缘相似性的匹配-代换机制，进一步对网络的输出图像进行后处理。然而，该方法所设计的匹配-代换机制忽略了高层次的语义特征，因此仅适用于轮廓和结构相对简单的人脸图像。

发明内容

本发明针对现有技术的缺陷，提供一种基于上下文融合的丝绸纹样图像修复方法。利用丝绸纹样单元具有周期性复现的特点，将深度神经网络方法和样本块搜索方法相结合，从数据驱动和知识驱动两条途径自动挖掘对有用的信息，高质量实现丝绸纹样图像的修复。

为了解决上述技术问题，本发明的技术方案是提供一种基于上下文融合的丝绸纹样图像修复方法，其特征在于，包括以下步骤：

步骤1：构建丝绸纹样图像数据集；采集多幅完好的丝绸纹样图像；运用裁剪和缩放操作对丝绸纹样图像的空间分辨率进行归一化；参照典型的丝绸纹样残缺形状，从完好的丝绸纹样图像中分割出缺损区域，获得含损丝绸纹样图像；记录缺损区域的真实像素值，将其作为驱动深度神经网络训练的标签；