[发明专利]基于隐空间搜索的手绘草图引导的图像编辑方法

说明书

本发明提供一种基于隐空间搜索的手绘草图引导的图像编辑方法，用于对待编辑图像进行编辑，其特征在于，包括：步骤S1，得到训练用图像；步骤S2，提取训练用图像的边缘图并训练神经网络；步骤S3，提取待编辑图像的边缘图，并根据掩膜将该边缘图与手绘草图结合；步骤S4，使用神经网络计算初始隐空间向量；步骤S5，根据初始隐空间向量生成生成图像；步骤S6，提取生成图像的边缘图并计算其与手绘草图在掩膜区域的特征图距离，同时计算其与待编辑图像在非掩膜区域的欧几里得距离以及感知距离；步骤S7，使用梯度下降算法使三种距离持续减小；步骤S8，将最终生成的生成图像的掩膜区域与待编辑图像的非掩膜区域融合得到最终编辑结果。

技术领域

本发明属于计算机图像领域，具体涉及一种基于隐空间搜索的手绘草图引导的图像编辑方法。

背景技术

手绘草图引导的图像编辑技术旨在使用用户输入的手绘草图修改所提供原图的掩膜部分。现有技术普遍使用训练一个生成对抗网络的方法来进行手绘草图引导的图像编辑，然而这种全新训练神经网络的方法既无法忠实且稳定地按照用于引导的手绘草图生成，也无法保证生成图像的质量。

无监督的图像生成技术可以生成出质量相当不错的图像，优于原有的图像编辑方法的生成质量。而当前已经有了一些通过优化隐空间的方法来控制所生成内容的方法，例如Image2StyleGAN++，可以通过优化隐空间向量执行图像的inpainting任务，也可以使用带颜色的笔画对图像进行有限编辑；PULSE则可以通过隐空间搜索的方法为低分辨率图像找到其对应高分辨率输出。

上述隐空间向量优化的系列方法虽然可以做到较高的生成质量，然而，这类方法尚不能针对手绘草图的引导进行编辑。

发明内容

为解决上述问题，提供一种结合可微分的边缘提取器，通过对比从隐空间向量生成得到的图像对应的边缘图和用户输入的引导手绘草图之间的距离，为隐空间向量的优化提供方向，通过在该隐空间中搜索，找到符合要求的图像生成结果的图像编辑方法，本发明采用了如下技术方案：

本发明提供了一种基于隐空间搜索的手绘草图引导的图像编辑方法，用于根据被输入的待编辑图像、需编辑区域的掩膜以及用于引导编辑的手绘草图对待编辑图像进行编辑，其特征在于，包括：步骤S1，从一个正态分布随机采样多个n维的随机向量，并将随机向量输入到预先训练好的生成对抗网络的生成器中，从而得到多个至少由生成器生成的训练用图像以及对应输入的随机向量构成的对；步骤S2，使用预定的可微分边缘提取算法提取训练用图像的边缘图作为训练用边缘图，并将训练用边缘图输入给一个神经网络，让该神经网络回归与被输入的训练用边缘图相对应的隐空间向量从而完成神经网络的训练；步骤S3，使用可微分边缘提取算法提取待编辑图像的边缘图作为第一边缘图，并根据掩膜将第一边缘图与手绘草图结合得到一个新的边缘图作为第二边缘图；步骤S4，使用训练完成的神经网络计算第二边缘图对应的隐空间向量作为初始隐空间向量，该初始隐空间向量为隐空间搜索的起点；步骤S5，通过生成器根据初始隐空间向量生成一个生成图像；步骤S6，使用可微分边缘提取算法提取生成图像的边缘图作为第三边缘图，并计算该第三边缘图与手绘草图在掩膜区域的特征图距离，同时计算生成图像与待编辑图像在掩膜以外的非掩膜区域的欧几里得距离以及感知距离；步骤S7，将特征图距离、欧几里得距离以及感知距离通过反向传播传递到初始隐空间向量上，并对该初始隐空间向量使用梯度下降算法使特征图距离、欧几里得距离以及感知距离减小；步骤S8，重复步骤S5至步骤S7直至特征图距离、欧几里得距离以及感知距离小于预定阈值，并最终生成的生成图像的掩膜区域与待编辑图像的非掩膜区域融合得到最终编辑结果。

本发明提供的基于隐空间搜索的手绘草图引导的图像编辑方法，还可以具有这样的技术特征，其中，特征图距离通过神经网络计算得到，使用网络特征图损失函数，该网络特征图损失函数是将第三边缘图与手绘草图输入到神经网络中，并取第三边缘图与手绘草图各自在网络特定层的特征图，计算两个特征图两两之间的距离，进一步将计算得到的距离相加从而得到特征图距离。