[发明专利]一种基于不确定性估计的图像补全方法

权利要求书

1.基于不确定性估计的图像补全方法，其特征在于，包括步骤：

S1.将图像数据预处理，使用二值掩码合成损坏图像；

S2.使用损坏图像和对应的二值掩码作为网络模型的输入，训练学习损坏图像到目标图像之间的复杂非线性变换映射，得到进行图像补全的生成对抗网络模型：训练包括通过生成器对损坏图像处理得到补全的生成图像，与目标真实图像在判别器中进行对抗损失的计算；迭代多次稳定后完成模型训练；生成对抗网络模型的输出同时包含生成图像和不确定性图，不确定性图用于表示补全图像补全结果的不确定性；

S3.使用训练好的生成对抗网络模型，对测试数据进行图像补全处理；

对所述不确定性图，采用如下损失函数以减少不确定性：

其中，L_unc表示不确定性估计损失函数，Ω表示像素空间，μν表示图像的某点,L_rec表示重建损失函数，U表示不确定性图。

2.根据权利要求1所述的基于不确定性估计的图像补全方法，其特征在于，步骤S1中，预处理之后的人脸图像和自然图像大小一致。

3.根据权利要求2所述的基于不确定性估计的图像补全方法，其特征在于，步骤S2包括：

S21.初始化图像补全任务中的网络权重参数，其中，生成器的损失函数是L_total，判别器的损失函数是L_D；

S22.将损坏图像和二值掩码图输入到生成器网络G中进行图像补全任务，生成的补全图像和目标图像一起输入到判别器网络D中，依次迭代训练使得生成器的损失函数L_total和判别器的损失函数L_D均降低至趋于稳定；

S23.同时训练表情生成和去除任务，直至所有的损失函数不再降低，从而得到最终的生成对抗网络模型。

4.根据权利要求3所述的基于不确定性估计的图像补全方法，其特征在于，所述生成对抗网络模型中所有编码器的卷积层为局部卷积，卷积层的输出值取决于未损坏的区域，数学描述如下：

其中，⊙表示像素级乘法，1表示所有元素均为1且形状和M相同的矩阵；W表示卷积层的参数，F表示前层卷积层的输出特征图，b表示卷积层的偏差，M表示对应的二值掩码图，可以看做是缩放因子，调整已知区域的权重；

在执行了局部卷积之后也需要更新二值掩码图M，数学描述如下：

即若卷积层能够根据有效输入得到输出结果，那么将二值掩码中的位置标记为1。

5.根据权利要求4所述的基于不确定性估计的图像补全方法，其特征在于，所述生成对抗网络模型中包含内容注意力机制，缺失区域的生成是基于内容注意力机制的输出的，包括如下步骤：

首先计算缺失部分和已知部分的特征相似度先提取已知区域的块，然后重新调整大小之后作为卷积核的参数；已知区域块{f_x,y}和未知区域块{b_x′,y′}之间的余弦相似度可通过如下式子计算：

然后在x^′y^′维度上用缩放的softmax对相似度进行权衡，得到每个像素点的注意力值：

其中，λ是一个常数，最后把选取出来的未知区域块{b_x′，y′}作为反卷积的卷积核参数重建出缺失区域；

为了获得注意力机制的一致性，按以下方式进行注意力传播：