[发明专利]一种基于文本描述的人脸素描画像编辑方法

说明书

本发明涉及一种基于文本描述的人脸素描画像编辑方法，包括：得到原始人脸素描图像的第一风格代码；确定操纵方向；根据第一风格代码和向量得到第二风格代码；根据第二风格代码得到第一人脸素描画像；根据第一人脸素描画像和第二人脸素描画像得到通道c上人脸素描画像的操作方向；根据风格空间的操纵方向和通道c上人脸素描画像的操作方Δi_c得到相关性；基于相关性和解纠缠阈值的关系得到操纵方向；将风格操纵输入到StyleGAN中得到第三人脸素描画像；利用最小二乘法将所述第三人脸素描画像进行反投影最终的人脸素描画像。本发明减少了人工手动操作的不便，消除中间生成的人脸素描画像的失真。

技术领域

本发明属于人脸素描画像技术领域，涉及一种基于文本描述的人脸素描画像编辑方法。

背景技术

画同一个人的多张脸的不同属性的素描是不切实际的，这给工作带来很多不便。同时，这也是目前现有规模的面部素描数据集非常小的一个主要原因。例如，常用的CUFS人脸素描数据集只有606 对人脸素描画像和真实图像，它包含CUHK学生数据集、AR数据集和XM2VTS数据集；CUFSF人脸素描数据集只有1194对人脸素描画像和自然图像。

现有的人脸素描画像合成方法可分为两类：数据驱动的方法和模型驱动的方法。数据驱动的方法通过线性组合相似的训练素描补丁(patch)。模型驱动方法学习离线数学函数将真实照片映射到素描画像的过程。

数据驱动的方法可以获得丰富纹理和面部细节，但相邻补丁块的搜索过程往往很耗时。此外，大多数现有的数据驱动方法都使用手工制作的特征来测量训练补丁和测试补丁之间的相似性，很大程度上依赖于人类经验。而模型驱动的方法面部细节通常会丢失，并且合成结果有模糊效应。此外，目前还没有针对人脸素描画像合成的基于文本的属性操作的研究。当以前的通过文本引导的修改自然图像的方法直接应用于人脸素描画像，存在失真现象，性能很差。

现存的人脸素描画像合成研究没有考虑通过文本描述对人脸素描画像进行相应的修改。虽然现有的许多人脸素描合成方法可以合成具有新属性的图像，但它们不能保证生成的人脸素描的无关属性区域是相同的，只有要求的属性被修改的。现有的方法大都是手动调整面部图片的几个预定义的属性，不方便，对用户不友好。此外，直接应用自然图像上的文本驱动的编辑方法到人脸素描上导致生成的结果严重失真。

综上所述，如何减少人工手动操作，同时保持生成的人脸素描图像不会失真，成为了亟待解决的问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于文本描述的人脸素描画像编辑方法。本发明要解决的技术问题通过以下技术方案实现：

一种基于文本描述的人脸素描画像编辑方法，所述人脸素描画像编辑方法包括：

步骤1、获取待处理的原始人脸素描图像；

步骤2、将所述原始人脸素描图像通过StyleGAN生成器的反转编码器投影到风格空间上得到第一风格代码；

步骤3、基于所述原始人脸素描图像的目标属性的文字描述和中性描述确定操纵方向Δi；

步骤4、根据第一风格代码和向量Δs_c得到第二风格代码，其中，所述向量Δs_c是一个512维向量，除通道c为1外，其余所有通道均为0；

步骤5、将所述第二风格代码输入到StyleGAN生成器的编码器中，得到第一人脸素描画像；

步骤6、将所述第一人脸素描画像和第二人脸素描画像输入到CLIP的图形编码器中得到所述通道c上人脸素描画像的操作方向Δi_c，其中，所述第二人脸素描画像是通过将所述原始人脸素描图像输入到StyleGAN生成器的编码器中得到的；