[发明专利]基于隐空间搜索的手绘草图引导的图像编辑方法

权利要求书

1.一种基于隐空间搜索的手绘草图引导的图像编辑方法，用于根据被输入的待编辑图像、需编辑区域的掩膜以及用于引导编辑的手绘草图对所述待编辑图像进行编辑，其特征在于，包括：

步骤S1，基于正态分布随机采样多个n维的随机向量，并将所述随机向量输入到预先训练好的生成对抗网络的生成器中，从而得到多个由所述生成器生成的训练用图像以及对应输入的所述随机向量构成的对；

步骤S2，使用预定的可微分边缘提取算法提取所述训练用图像的边缘图作为训练用边缘图，并将所述训练用边缘图输入给一个神经网络，让该神经网络回归于被输入的所述训练用边缘图相对应的隐空间向量从而完成所述神经网络的训练；

步骤S3，使用所述可微分边缘提取算法提取所述待编辑图像的边缘图作为第一边缘图，并根据所述掩膜将所述第一边缘图与所述手绘草图结合得到一个新的边缘图作为第二边缘图；

步骤S4，使用训练完成的所述神经网络计算所述第二边缘图对应的隐空间向量作为初始隐空间向量，该初始隐空间向量为隐空间搜索的起点；

步骤S5，通过所述生成器根据所述初始隐空间向量生成一个生成图像；

步骤S6，使用所述可微分边缘提取算法提取所述生成图像的边缘图作为第三边缘图，并计算该第三边缘图与所述手绘草图在掩膜区域的特征图距离，同时计算所述生成图像与所述待编辑图像在所述掩膜以外的非掩膜区域的欧几里得距离以及感知距离；

步骤S7，将所述特征图距离、所述欧几里得距离以及所述感知距离通过反向传播传递到所述初始隐空间向量上，并对该初始隐空间向量使用梯度下降算法使所述特征图距离、所述欧几里得距离以及所述感知距离减小；

步骤S8，重复所述步骤S5至所述步骤S7直至所述特征图距离、所述欧几里得距离以及所述感知距离小于预定阈值，并将最终生成的所述生成图像的掩膜区域与所述待编辑图像的非掩膜区域融合得到最终编辑结果。

2.根据权利要求1所述的基于隐空间搜索的手绘草图引导的图像编辑方法，其特征在于：

其中，所述特征图距离通过所述神经网络计算得到，使用网络特征图损失函数，该网络特征图损失函数是将所述第三边缘图与所述手绘草图输入到所述神经网络中，并取所述第三边缘图与所述手绘草图各自在网络特定层的特征图，计算两个所述特征图之间的距离，进一步将计算得到的所述距离相加从而得到特征图距离。

3.根据权利要求1所述的基于隐空间搜索的手绘草图引导的图像编辑方法，其特征在于：

其中，所述步骤S7中，所述特征图距离、所述欧几里得距离以及所述感知距离通过所述生成器回传至所述初始隐空间向量上，使用所述梯度下降算法向着使损失下降的方向更新该初始隐空间向量的参数。

4.根据权利要求1所述的基于隐空间搜索的手绘草图引导的图像编辑方法，其特征在于：

其中，所述生成对抗网络为StyleGAN网络，该StyleGAN网络的生成器具有一个映射模块和一个合成模块，

所述对中还包括隐空间向量，该隐空间向量为所述随机向量输入所述生成器中经过所述映射模块映射得到的中间向量。

5.根据权利要求1所述的基于隐空间搜索的手绘草图引导的图像编辑方法，其特征在于：

其中，所述可微分边缘提取算法为高斯差分方法或预先训练得到的深度学习方法。

6.根据权利要求1所述的基于隐空间搜索的手绘草图引导的图像编辑方法，其特征在于：

其中，所述神经网络采用VGG网络结构，

所述步骤S2中采用L1损失函数来回归所述神经网络的输出与该边缘图对应的隐空间向量。