[发明专利]姿势导引的风格保持人体图像生成方法

说明书

本发明提供了一种基于深层的条件生成对抗网络，自动生成特定人物在新的视点和不同姿势下的图像方法。本发明设计的损失功能将更好地保存原始图像可见的外观细节，且采用的神经网络能使从源图像中消失的身体部位产生幻象。其中，网络整体结构包含：一个U型网络生成器，结合可变自动编码器，以及一个可同时训练的鉴别器。本发明能够根据输入的源图像和N＝17个关节的二维骨架姿势图像，训练模型生成所需姿势的同一个人的图像。针对大多数现有方法尚未能解决的颜色误解和纹理图案失真的问题，实验效果良好，无批量错误产出。本发明结合多尺度样式损失来解决纹理特征的一致性问题，很好地克服了部分遮挡问题,从而显著提高了结果的准确性。

技术领域

本发明涉及图片生成领域，尤其涉及一种姿势导引的风格保持人体图像生成方法。

背景技术

在计算机图形和图像处理社区中，生成逼真的人的图像是一项长期而艰巨的挑战，并且已经激发了广泛的应用，例如，人员重新识别训练数据集的增强，电影角色的制作以及基于合成图像的图像检索。最近的研究工作表明，深度神经网络是自动图像生成中的强大工具，尤其是通过使用给定数据集训练的生成对抗网络(GANs)和变异自动编码器(VAE)可以生成具有以下特征的数据：训练数据集的共同属性。此外，条件生成对抗网络(cGAN)可以根据一些条件变量(例如，标签或其他图像)来合成图像。通常，上述方法用于合成具有形状不变性和对称性的非关节物体，例如人脸，建筑物和汽车。但是，生成人体图像是一项更具挑战性的任务，因为人体具有复杂的铰接和非刚性结构，并且自由度明显更高。

为了生成人类图像，越来越多的研究人员开始关注设计具有某些条件的新型网络，例如一对参考人类图像和骨骼姿势图像作为此任务的输入。最近的工作提出了使用多阶段生成方法从单视图图像生成多视图人类图像的方法，该方法分别专注于生成全局人体形状和外观细节。相反，Esser等人使用端到端训练方法以所需姿势合成新颖人物图像。他们提出了带有两个编码器的可变U-Net 框架，分别用于对外观和形状信息进行建模。两种方法都可以将参考图像上的人物转移到目标姿势。但是，图像质量在视觉上不能令人满意。因此，生成轮廓清晰，外观细腻的人体图像仍然是一个未解决的问题。

发明内容

(一)要解决的技术问题

本发明的目的在于提供一种基于深度神经网络技术，以姿势导引的风格保持人体图像生成方法，以解决上述的至少一项技术问题。

(二)技术方案

本发明提供了一种姿势导引的风格保持人体图像生成方法的网络架构，包括：

图像生成器模块，用于接收N＝17个关节的二维骨架姿势图像和参考人物图像，生成具有与源图像相同大小的新图像。

鉴别器模块，用于将每个真实或生成的样本建模为无向概率图，对整个图像进行卷积运算，对所有响应求平均值，以获得最终输出。

在本发明的一些实施例中，所述图像生成器模块包括：

编码器用于在训练期间，将N＝17个关节的二维骨架姿势图像产生潜像；

编码器Encθ，用于在训练期间，将参考人物图像产生潜像；

解码器Decθ，用于生成与参考人物图像相同大小的新图像。

其中：

编码器与Encθ相同；

编码器Encθ与解码器Decθ建立残差连接。

在本发明的一些实施例中，图像生成器模块包括训练步骤：

N＝17个关节的二维骨架姿势图像和参考人物图像通过两个相同的编码器和Encθ分别产生两个潜像；

两个潜像被组合，以生成潜在变量；