[发明专利]人像转换模型生成方法及人像转换方法

权利要求书

1.一种人像转换模型的生成方法，其特征在于，包括：

使用原图和目标图作为训练数据，对循环生成对抗网络cycle-GAN进行训练，达到停止条件后停止训练，将训练后的循环生成对抗网络cycle-GAN作为人像转换模型，其中所述原图中包括真实人像的人脸，所述目标图中包括卡通化人像的人脸，所述原图与所述目标图属于非配对unpaired数据；

其中，训练时使用的损失函数包括结构损失函数和图对损失函数，

所述结构损失函数为：对原图进行聚类分割处理的结果与对网络生成的卡通图进行聚类分割处理的结果之间的差，

所述图对损失函数为：对原图进行指定操作后再通过网络生成的卡通图与由原图通过网络生成卡通图后再进行指定操作得到的卡通图之间的差；其中，所述指定操作包括以下至少一种操作：旋转、偏移、翻转。

2.根据权利要求1所述的方法，其特征在于，其中，训练时使用的判别器包括视频判别器，所述视频判别器用于对输入的多帧视频序列进行如下操作：

对所述多帧视频序列进行三维3D卷积操作以提取时空特征，对所述时空特征进行二维2D卷积操作以深化空间特征，2D卷积操作之后输出分数，所述分数介于0至1之间；其中，所述分数越接近1表示所述多帧视频序列与实际的视频序列分布越相似，所述分数越接近0表示所述多帧视频序列与实际的视频序列分布越不相似。

3.一种人像转换方法，其特征在于，所述人像转换方法基于由权利要求1或2所述的方法所生成的人像转换模型，所述人像转换方法包括：

对视频中含有人脸的第一图像分别进行双边滤波处理和边缘检测，将双边滤波处理的结果与边缘检测得到的边缘图进行融合，得到第一卡通图像；

对所述视频进行人脸检测，得到第一人脸框；

对所述第一人脸框进行人脸关键点检测，得到第一人脸关键点；

将所述第一人脸框中的人脸图像输入所述人像转换模型，得到模型输出的第二卡通图像；

基于所述第一人脸框中的人脸图像制作蒙版mask图；

基于所述蒙版mask图将所述第二卡通图像与所述第一图像进行融合，得到融合图像；

将所述融合图像与所述第一图像进行融合，得到第三卡通图像，完成所述视频中的第一图像到所述第三卡通图像的人像转换。

4.根据权利要求3所述的方法，其特征在于，在所述对所述视频进行人脸检测，得到第一人脸框之后，所述方法还包括：

利用跟踪器生成的跟踪框对所述第一人脸框进行跟踪，在所述跟踪框与所述第一人脸框的交并比IOU小于或等于指定阈值的情况下重置跟踪器。

5.根据权利要求3所述的方法，其特征在于，所述对所述第一人脸框进行人脸关键点检测，包括：

对所述第一人脸框中的人脸图像的长和宽进行外扩和裁剪，得到第一目标人脸图像区域，对所述第一目标人脸图像区域进行人脸关键点检测。

6.根据权利要求3所述的方法，其特征在于，所述将所述第一人脸框中的人脸图像输入所述人像转换模型，包括：

对所述第一人脸框中的人脸图像的长和宽进行外扩和裁剪，得到第二目标人脸图像区域，将所述第二目标人脸图像区域输入所述人像转换模型。

7.根据权利要求3所述的方法，其特征在于，所述蒙版mask图是以所述第一人脸关键点为中心且成高斯分布向外减弱的。

8.一种人像转换装置，其特征在于，所述人像转换装置包括由权利要求1或2所述的方法所生成的人像转换模型，所述人像转换模型用于对图像中的人脸进行卡通化转换。