[发明专利]一种基于手绘的人脸图片生成方法及系统

说明书

本发明公开了一种基于手绘的人脸图片生成方法及系统；该方法包括获取手绘人脸图像，以及手绘人脸图像对应的手绘质量置信度、属性向量和噪声向量；根据手绘质量置信度，对手绘人脸图像进行膨胀处理；根据手绘质量置信度，对膨胀处理后的手绘人脸图像进行卷积处理，获得包含手绘人脸图像信息的形状特征图；对属性向量和噪声向量进行映射处理，获得风格控制向量；对风格控制向量和形状特征图进行卷积处理，获得生成图像；通过该方法能够同时兼顾高质量手绘和低质量手绘，并生成高质量且多样性的图像。

技术领域

本发明属于计算机视觉图像生成技术领域，特别是一种基于手绘的人脸图片生成方法及系统。

背景技术

基于手绘的人脸图像生成主要为，给定一张手绘，要求模型捕捉手绘的局部和全局信息，将高维度的手绘图像映射到低维度的隐空间，再通过解码的方式，从低维度的隐向量(形状特征图)生成二维的彩色人脸图像。该任务即要求生成的图像既逼真，又需要生成的图像细节符合手绘的细节，同时还希望生成的图像具有较高的多样性。同时做到这几点需要既能够捕捉到输入手绘的细粒度细节，又需要模型能够对低质量的手绘鲁棒，是一个很具挑战的任务。

现存的大部分工作会首先使用一个编码器，将不做其它处理的手绘编码到低维度的隐空间，再通过解码器，将隐向量解码为人脸图像，同时，会有一个分辨器，来动态的判断的图片的质量。这些方法具有一定的局限：1)模型中间的隐向量表示会丢掉输入手绘的部分空间信息，使得生成的图像在局部细节上和手绘不符；2)当输入的手绘较为杂乱无章和低质量，模型的输出图像质量会变得很差，逼真度大打折扣；3)模型是固定的，一个输入的手绘只能生成一个图像，模型本身无法为生成结果增加多样性。

因此，如何生成高质量和高多样性图像，成为当前研究的关键问题。

发明内容

鉴于上述问题，本发明提供一种至少解决上述部分技术问题的一种基于手绘的人脸图片生成方法及系统，该方法能够同时兼顾高质量手绘和低质量手绘，并生成高质量且多样性的图像。

一方面，本发明实施例提供了一种基于手绘的人脸图片生成方法，包括：

S1、获取手绘人脸图像，以及所述手绘人脸图像对应的手绘质量置信度、属性向量和噪声向量；

S2、根据所述手绘质量置信度，对所述手绘人脸图像进行膨胀处理；

S3、根据所述手绘质量置信度，对膨胀处理后的手绘人脸图像进行卷积处理，获得包含手绘人脸图像信息的形状特征图；

S4、对所述属性向量和噪声向量进行映射处理，获得风格控制向量；对所述风格控制向量和所述S3中得到的形状特征图进行卷积处理，获得生成图像。

进一步地，还包括：

S5、对所述生成图像的类型和属性进行判断；所述属性包括头发颜色、性别和肤色；

S6、从所述生成图像中提取轮廓线；根据所述轮廓线和所述手绘人脸图像，计算多样性提升损失，作为所述生成图像在生成过程中的约束条件。

进一步地，所述S3具体包括：

S31、将所述手绘质量置信度映射为手绘置信度向量；

S32、基于所述手绘置信度向量，对所述膨胀处理后的手绘人脸图像进行卷积处理，并通过调制和解调制操作修改卷积层的权重，基于此获得包含手绘人脸图像信息的形状特征图。

进一步地，所述S4具体包括：

S41、对所述属性向量进行映射处理，并将映射处理后的属性向量与所述噪声向量进行串联，获得串联向量；

S42、对所述串联向量进行映射处理，获得风格控制向量；