[发明专利]一种场内外特征融合的残缺图像精细修复方法

说明书

本发明提出了一种场内外特征融合的残缺图像精细修复方法，其步骤为：检测残缺图像中存在的目标，利用知识库检索与目标相关的常识性知识，基于RNN的编码器将常识性知识转化为场外特征；提取残缺图像的目标特征信息并进行处理得到场内特征，利用改进的DMN+模型场外特征与场内特征进行融合，得到融合特征；将融合特征输入到带有环境注意机制的粗修复网络，得到粗修复图像；将粗修复图像输入到精细修复网络中进一步细化，从而实现残缺图像的修复。本发明利用知识库中的常识性知识弥补目标信息的不足；环境注意机制更大程度上利用背景信息；增加相关特征连贯层解决了残缺区域的语义相关性和特征连续性的问题，提高图像的修复结果。

技术领域

本发明涉及图像修复的技术领域，尤其涉及一种场内外特征融合的残缺图像精细修复方法。

背景技术

图像修复是指因遮挡、模糊、传输干扰等各种因素造成信息缺失或损坏的图片，可通过利用图像缺失部分邻域的信息和图像整体的结构等信息，按照一定的信息复原技术对图像的缺失或损坏的区域进行修复。但由于图像修复技术具有独特的功能经常被应用到许多图像处理的场景中，例如删除图像中不需要的物体、去除目标物上的遮挡物体、修复损坏等任务，图像修复的核心技术是图像修复区域既要保持全局语义结构，又要保证生成逼真的纹理细节。随着深度学习方法的快速发展，同时也为图像修复模型开辟了一条新的路径。基于深度学习的图像修复模型是将一个深度神经网络通过在数据库中经过大量的训练，学习到图像更多深层次的特征信息，从而得到了更加逼真的图像修复效果。随着生成式对抗网络(GANs)作为一种无监督的深度学习模型被应用于图像修复领域，使得基于深度学习的图像修复得到了进一步的发展。

公开号为CN112381725A的发明专利公开了一种基于深度卷积对抗生成网络的图像修复方法及装置，通过对待修复图像进行预处理以获得边缘原图，然后利用预先训练的深度卷积对抗生成网络，根据边缘原图生成与待修复图像对应的目标生成图像。然而该方法忽略了残缺区域的语义相关性和特征连续性而导致图像的修复效果并不理想。同时上述修复方法面对特征信息严重缺失信息不足的残缺图像时，其修复效果就会显示出不能有效修复的现象。因此，本发明提出了基于场内外特征融合的残缺图像精细修复方法解决上述问题。

发明内容

针对现有图像修复方法的修复效果不理想，不能有效修复的技术问题，本发明提出一种场内外特征融合的残缺图像精细修复方法，利用知识库中的常识性知识，弥补原图像目标信息的不足，利用背景信息及残缺区域的语义相关性和特征连续性，从而提高图像的修复效果。

为了达到上述目的，本发明的技术方案是这样实现的：一种场内外特征融合的残缺图像精细修复方法，其步骤如下：

步骤一：检测残缺图像中存在的目标，利用知识库检索与目标相关的常识性知识，基于RNN的编码器将常识性知识转化为场外特征；

步骤二：提取残缺图像的目标特征信息并进行处理得到场内特征，利用改进的DMN+模型将步骤一得到的场外特征与场内特征进行融合，得到融合特征；

步骤三：将步骤二得到的融合特征输入到带有环境注意机制的粗修复网络，得到粗修复图像；

步骤四：将步骤三得到的粗修复图像输入到精细修复网络中，通过精细修复网络对粗修复图像进一步细化获得精细修复图像，从而实现残缺图像的修复。

所述步骤一中场外特征的获取方法为：

根据知识库中的常识性知识，对残缺图像I_in中的目标β判断推理，推测出可能相关的目标{α₁，α₂，....，α_k}；

从知识库中检索与目标α_k相关的常识性描述为：其中，{m₁，m₂，...，m_n}是从知识库中检索到的目标α_k的常识性描述，n表示每个目标的常识性描述的个数；