[发明专利]一种基于多频子带概率推理模型的图像修复方法

说明书

本发明提出一种基于多频子带概率推理模型的图像修复方法，提出了一种基于多频概率推理模型的双路径并行网络——推理网络和生成网络。我们的方法将真实图像送入推理网络，受损图像送入生成网络，分别在小波域中将图像分解为低频子带和高频子带，然后通过编码器分别获得真实图像高低频子带的潜变量分布和缺失图像的高低频子带潜变量分布，再通过概率推理模型使得缺失图像的高低频子带潜变量分布接近于真实图像的高低频子带潜变量分布，最终使得修复完成的图像尽可能地接近真实图像，该方法的生成的图像结构更清晰，纹理更精细，修复后的图像更真实无明显边界。

技术领域：

本发明涉及计算机图像处理领域，具体涉及一种基于多频子带概率推理模型的图像修复方法。

背景技术：

图像修复是多媒体应用和计算机视觉中的一项基本任务，其目标是为缺失的区域生成替代的全局语义结构和局部细节纹理，并最终产生视觉逼真的结果。它在图像编辑、复原和合成等多媒体领域得到了广泛的应用。传统的基于图像块的图像修复方法是从已知区域搜索并复制最匹配的图像块到缺失的区域。这种传统的图像修复方法对静态纹理的处理效果较好，但对人脸等复杂或非重复结构的纹理处理效果有限，不适用于高层语义信息的捕获。

近年来，基于学习的方法将图像修复建模为条件生成问题，Pathak等人首先利用对抗损失函数训练深度神经网络来预测缺失区域，这有利于捕获大面积缺失区域的边缘和全局结构。Ishikawa等人通过结合全局和局部的对抗损失函数来改进它，以产生更精细的纹理。通过卷积神经网络，进行深层特征的提取和传递，更好的弥补了传统图像修复算法的不足，这些方法取得了视觉上真实且合理的修复结果。然而，由于这些方法平等地对待和处理输入图像的结构和纹理信息，因此常常会出现边界过光滑或纹理现象。

为了解决这一问题，Liu等人提出了两段式网络，在第一阶段中恢复缺失区域的粗略结构，并在第二阶段利用第一阶段的重构信息生成最终结果。然而，第二阶段网络很大程度上依赖于第一阶段网络重构结构的正确性，两段式训练也带来了额外的计算负担。同时，输入图像中低频特征和高频特征的数据分布表现完全不同。如果不区分地计算不同频率的特征分布，可能会误导结构的重建或纹理的生成。

综上，现有的图像修复算法往往不能同时重建合理的结构和精细的纹理，具有局限性。

发明内容

为了解决现有图像修复方法不能同时重建合理结构和精细纹理的问题，本发明提供一种质量高的图像修复方法，该方法的生成的图像结构更清晰，纹理更精细，修复后的图像更真实无明显边界。

本发明的基于多频子带概率推理模型的图像修复方法，提出了一种基于多频概率推理模型的双路径并行网络——推理网络和生成网络。我们的方法首先在小波域中将输入图像分解为低频子带和高频子带，这有利于在不受干扰的情况下更准确地提取不同频率的特征分布。然后，将从推理网络估计的真实图像的低频特征和高频特征进行编码，得到真实图像的多频特征的潜变量分布，同样我们也可以利用小波变换分别得到低高频子带并进行编码，得到受损图像的多频特征的潜变量分布，利用概率推理模型对受损图像的潜变量进行估计，使缺失图像的潜变量分布更接近于真实图像的潜变量分布，潜变量生成相应的多频信息，填补缺失的区域，生成最终的视觉逼真的结果。

以下分为训练阶段和实测阶段两个阶段来阐述我们的发明：

1.一种基于多频子带概率推理模型的图像修复方法，其特征在于：分为训练阶段和实测阶段两个阶段；

训练阶段采用推理网络和生成网络并行结构，生成网络用于在推理网络的辅助下，进行图像修复任务：

训练过程中推理网络用来估计真实图像的潜变量分布，推理网络的具体操作如下：

步骤一：针对真实图像I_gt，采用离散小波变换将真实图像迭代地分解为4个子带图像其中低频子带为：高频子带为：