[发明专利]一种基于不确定性估计的图像补全方法

说明书

本发明公开一种基于不确定性估计的图像补全方法，包括步骤：将图像数据预处理，使用二值掩码合成损坏图像；使用损坏图像和对应的二值掩码作为网络模型的输入，训练学习损坏图像到目标图像之间的复杂非线性变换映射，得到进行图像补全的生成对抗网络模型；生成对抗网络模型的输出同时包含生成结果和用于表示补全图像补全结果的不确定性图；使用训练好的生成对抗网络模型，对测试数据进行图像补全。本发明结合不确定性估计，使用输入图像进行训练学习，可以使得补全结果含有丰富的细节信息并且能够保持结构上的连续性。

技术领域

本发明涉及图像补全技术领域，涉及基于不确定性估计的图像补全方法。

背景技术

图像补全任务(image inpainting)，是指生成给定损坏图像中缺失区域的替代内容，且使得修复的图像在视觉上逼真和在语义上合理。图像补全任务可在其他应用中使用，如图像编辑，当图像中存在分散人注意力的场景元素时，如人或者物体(通常是不可避免的)，允许用户移除图像中不需要的元素，同时在空白区域填充视觉和语义上合理的内容。

生成对抗网络启发自博弈论中二人零和博弈的思想，具有生成式网络和判别式网络两个网络，利用它们间相互竞争从而不断提升网络性能，最终达到平衡。基于生成对抗网络思想，衍生出许多变种网络，并且这些网络在图像合成、图像超分、图像风格转换和图像修复等方面都取得了显著的进步。图像补全，包括图像修复、图像去水印、图像去雨和图像去雾都得到了研究者们的关注。

人类的内容注意力机制和掩码先验(Attention Mechanism)是从直觉中得到，它是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段。深度学习中的内容注意力机制和掩码先验借鉴了人类的注意力思维方式，被广泛的应用在自然语言处理(Nature Language Processing，NLP)、图像分类及语音识别等各种不同类型的深度学习任务中，并取得了显著的成果。

随着科技不断发展，人们在不同领域的需求也在相应提高，包括电影广告动画制作和网络游戏等，逼真的图像修复技术对用户的良好体验具有重要意义。

在此背景下，开发基于不确定性估计的图像补全方法，使得修复后的图像在视觉上逼真和在语义上合理，具有重要的意义。

发明内容

本发明的目的是为了提高图像补全任务中图像的生成质量，包括丰富的纹理细节和结构上的连续性，而提供一种不确定性估计的图像补全方法。

为实现本发明的目的所采用的技术方案是：

一种不确定性估计的图像补全方法，包括步骤：

S1.将图像数据预处理，使用二值掩码合成损坏图像；

S2.使用损坏图像和对应的二值掩码作为网络模型的输入，训练学习损坏图像到目标图像之间的复杂非线性变换映射，得到进行图像补全的生成对抗网络模型：训练包括通过生成器对损坏图像处理得到补全的生成图像，与目标真实图像在判别器中进行对抗损失的计算；迭代多次稳定后完成模型训练；生成对抗网络模型的输出同时包含生成图像和不确定性图，不确定性图用于表示补全图像补全结果的不确定性；

S3.使用训练好的生成对抗网络模型，对测试数据进行图像补全处理。

其中，预处理之后的人脸图像和自然图像大小一致。

其中，所述步骤S2包括：

S21.初始化图像补全任务中的网络权重参数，其中，生成器的损失函数是L_total，判别器的损失函数是L_D；

S22.将损坏图像和二值掩码图输入到生成器网络G中进行图像补全任务，生成的补全图像和目标图像一起输入到判别器网络D中，依次迭代训练使得生成器的损失函数L_total和判别器的损失函数L_D均降低至趋于稳定；