[发明专利]一种基于特征交互的深度学习图像修复方法

说明书

本发明公开一种基于特征交互的深度学习图像修复方法，构建特征交互式的卷积神经网络模型作为交互式图像修复模型；所述交互式图像修复模型包括高分辨率分支和低分辨率分支，所述高分辨率分支和低分辨率分支在网络的正向过程中相互交互信息但又有独立工作，所述高分辨率分支维护处理具有固定分辨率的一系列特征，所述低分辨率分支处理图像的高级信息并且随着传播的进行而将特征尺度按比例缩小；将待修复图像输入所述交互式图像修复模型，输出修复图像。本发明保持了模型对图像的纹理模式和语义上下文之间的理解平衡，能够在不丢失图像细节纹理信息同时能够有效地捕获图像语义，提升修复图像的质量。

技术领域

本发明属于图像修复技术领域，特别是涉及一种基于特征交互的深度学习图像修复方法。

背景技术

图像修复(Image Inpainting)是填充不完整图像的缺失区域以使修复完毕的图像在视觉上看起来合理的图像处理过程。在学术领域，前景去除，背景建模，视频分析，去遮挡，传输错误隐藏，对象和文字移除，多视图合成，人脸重建等方向的学术研究都会涉及到图像修复。在实际生活应用方面，它在图像视频编辑、电影后期制作、多视点视频编码及数字文化遗产保护等领域都具备广泛的社会应用价值。

现有的大部分基于深度学习的技术采用了U-net风格网络结构作为方法中的生成器，直接U-net样式的网络结构应用到图像修复将会存在很多问题。如U-net样式的网络结构的间隔下采样会让网络直接丢失一些像素级的纹理信息，U-net样式的网络结构的深层特征的感受野范围不足，U-net样式的网络结构的深层特征的感受野范围还有待进一步提高。尽管U-net风格网络中的池化层或跨步卷积能够将特征压缩为紧凑的表示形式，但由于间隔下采样，这样的网络不可避免地会丢弃空间维度上的许多高分辨率信号。这些问题都会导致模型的修复性能下降。造成现有模型修复图像过程中，使用模型修复完成的图像纹理模糊、视觉效果不清晰，在模型的推导过程中出现信息丢失的情况，修复图像的语义信息和纹理细节信息与真实图像不匹配。

发明内容

为了解决上述问题，本发明提出了一种基于特征交互的深度学习图像修复方法，弥补U-net风格网络结构在图像修复领域上的缺陷，保持了模型对图像的纹理模式和语义上下文之间的理解平衡，能够在不丢失图像细节纹理信息同时能够有效地捕获图像语义，提升修复图像的质量。

为达到上述目的，本发明采用的技术方案是：一种基于特征交互的深度学习图像修复方法，步骤包括：

构建特征交互式的卷积神经网络模型作为交互式图像修复模型；所述交互式图像修复模型包括高分辨率分支和低分辨率分支，所述高分辨率分支和低分辨率分支在网络的正向过程中相互交互信息但又有独立工作，所述高分辨率分支维护处理具有固定分辨率的一系列特征，所述低分辨率分支处理图像的高级信息并且随着传播的进行而将特征尺度按比例缩小；

将待修复图像输入所述交互式图像修复模型，输出修复图像。

进一步的是，在交互式图像修复模型的正向过程包括依次连接的初始阶段、中间多级处理阶段和最终融合阶段，待修复图像依次经过初始阶段、中间处理阶段和最终融合阶段后输出修复图像，通过初始阶段将待修复图像拆分成两种特征并分向高分辨率分支和低分辨率分支，通过中间多级处理阶段对高分辨率分支和低分辨率分支进行处理，通过最终融合阶段对高分辨率分支和低分辨率分支进行融合后后输出修复图像。

进一步的是，所述中间多级处理阶段包括第二阶段、第三阶段和第四阶段进行修复获得最终的修复图像；所述第二阶段、第三阶段和第四阶段均包含了修复、交互和聚合操作；

在所述初始阶段将输入待修复图像通过修复、拆分和聚合操作将图像特征处理为两种特征，一种特征的分辨率和输入待修复图像保持一致，另一种特征的分辨率将变换为待修复图像分辨率的1/2；

第二阶段将初始阶段得到的两种特征，通过通过修复、拆分和聚合操作得到新的两种特征，而这两种新的特征的分辨率分辨为原始分辨率和原始分辨率的1/4；