[发明专利]一种多尺度图像修复方法、存储介质及终端

说明书

本发明公开了一种多尺度图像修复方法、存储介质及终端，该方法包括：获取原始真实图像与对应的二值缺损掩膜，构建待修复图像数据集；构建多尺度极化自注意力生成对抗网络，并在生成器的不同尺度上嵌入极化自注意力机制模块；使用待修复图像训练集对对抗网络模型进行训练和建模；采用待修复图像测试集对所述多尺度极化自注意力生成对抗修复模型进行测试；通过评价指标来评价模型的修复性能。本发明通过在跳跃连接上添加多尺度特征融合方法进一步利用图像特征，然后共享给模型的后层网络，使用压缩维度操作少的极化自注意力机制，减少特征数据的丢失，提高模型对大尺度信息缺失图像的修复精度，简化模型的结构复杂度，提高图像修复的性能。

技术领域

本发明涉及图像修复技术领域，尤其涉及一种多尺度图像修复方法、存储介质及终端。

背景技术

目前，在很多场景下需要对大范围信息缺失的图像进行修复，现有基于卷积神经网络的方法在建立长距离区域相关性方面无效，由于缺失像素太多，这些方法不能获取到远距离的图像像素信息，图像修复效果差。

一些方法通过在网络中添加其它的全局特征提取模块来改善上述问题，但这会大大增加模型的复杂度，耗费巨额计算资源，且在一些特定场景下对大范围缺失像素的修复效果也不佳。

除此之外，随着生成网络(包括生成对抗网络和变分自编码器VAE)被用于图像修复领域，该类方法对大范围信息缺失图像的修复性能有了较大提高，但由于这些方法通常使用了跳跃连接和压缩维度操作，无法充分利用到原始图像丰富的语义信息和空间信息，且压缩维度操作会损失一定的图像信息，导致本来修复效果不佳的大尺度信息缺失图像更加难以修复。

发明内容

本发明提供一种多尺度图像修复方法、存储介质及终端，以解决图像修复中存在的因跳跃连接和压缩维度操作带来的无法充分利用图像原始信息的技术问题。

为解决上述问题，本发明提供一种多尺度图像修复方法，所述修复方法包括：

步骤S₁₀₀：获取原始真实图像与对应的二值缺损掩膜，构建待修复图像数据集，以及对应的原始真实图像数据集，并将所述待修复图像数据集按照预设比例划分为训练集和测试集；

步骤S₂₀₀：构建多尺度极化自注意力生成对抗网络，所述生成对抗网络由生成器G和判别器D构成，并在所述生成器G的不同尺度上嵌入极化自注意力机制模块，所述极化自注意力机制模块包含通道自注意力分支和空间自注意力分支，所述通道自注意力分支和空间自注意力分支通过并行方式进行连接；

步骤S₃₀₀：设置网络模型超参数，使用待修复图像训练集对所述多尺度极化自注意力机制生成对抗网络模型进行训练和建模，采用损失函数来优化网络结构参数；

步骤S₄₀₀：采用待修复图像测试集对所述多尺度极化自注意力生成对抗修复模型进行测试，通过计算修复后的图像和原始真实图像之间的评价指标来评价模型的修复性能。

进一步的，在步骤S₁₀₀中，所述获取原始真实图像与对应的二值缺损掩膜具体包括：

步骤S₁₀₁：从图像修复数据集和Mask掩膜数据集中构建用于图像修复的缺失像素图像数据集，并对图像进行初步的预处理；

步骤S₁₀₂：掩膜和真实图像通过像素乘法得到缺失像素图像数据集，将该数据集中的图像和Mask掩膜一同输入到模型的生成器中。

进一步的，在步骤S₂₀₀中，所述生成器由编码器和解码器构成，所述编码器和所述解码器之间添加跳跃连接，所述跳跃连接上添加多尺度特征融合模块，所述编码器不断地提取原始图像的不同层级的特征图，得到原始图像的深层特征；所述多尺度特征融合模块将不同尺寸的特征图进行特征融合，提供给所述解码器的反卷积层，对融合后的特征图进行像素预测。