[发明专利]姿势导引的风格保持人体图像生成方法

权利要求书

1.一种姿势导引的风格保持人体图像生成方法的网络架构，包括：

图像生成器模块，用于接收N＝17个关节的二维骨架姿势图像和参考人物图像，生成具有与源图像相同大小的新图像。

鉴别器模块，用于将每个真实或生成的样本建模为无向概率图，对整个图像进行卷积运算，对所有响应求平均值，以获得最终输出。

2.根据权利要求1所述的姿势导引的风格保持人体图像生成方法的网络架构，其中，所述图像生成器模块包括：

编码器用于在训练期间，将N＝17个关节的二维骨架姿势图像产生潜像；

编码器Encθ，用于在训练期间，将参考人物图像产生潜像；

解码器Decθ，用于生成与参考人物图像相同大小的新图像。

3.根据权利要求2所述的图像生成器模块，其中：

编码器与Encθ相同；

编码器Encθ与解码器Decθ建立残差连接。

4.根据权利要求2所述的图像生成器模块，包括训练步骤：

N＝17个关节的二维骨架姿势图像和参考人物图像通过两个相同的编码器和Encθ分别产生两个潜像；

两个潜像被组合，以生成潜在变量；

潜在变量通过解码器网络Decθ生成与参考人物图像相同大小的新图像；

附加的残差连接将Encθ中的每个块连接到Decθ中的相应块，将姿态特征流从二维骨架姿势图像覆盖到所有分辨率级别输出。

5.根据权利要求1所述的姿势导引的风格保持人体图像生成方法的网络架构，其中，所述鉴别器模块：

通过对抗训练方法与预训练的CNN(VGG19)相结合来实现感知优化；

将鉴别器实现为PatchGan分类器体系结构，以局部补丁操作图像，并明确要求每个镜像补丁都是真实的；

鉴别器将每个真实或生成的样本建模为马尔可夫随机场，即无向概率图；

鉴别器对整个图像进行卷积运算，对所有响应求平均值，以获得最终输出；

对于每个训练迭代，使用PatchGan作为鉴别器，它与生成器并行地进行训练，以区分真实图像和生成的图像。

6.一种姿势导引的风格保持人体图像生成方法的损失函数L_total，定义为：

L_total＝L_adv+L_content+L_{multiscalestyle}+λ_klL_kl

合并了一种新颖的多尺度样式损失，以适应具有高斯金字塔的纹理系统，该纹理系统可确保输出图像中的颜色和纹理细节与源图像精确一致；

用于更好地将损失最小化。

7.根据权利要求6所述的姿势导引的风格保持人体图像生成方法的损失函数，其中，对抗损失L_adv定义为：

其中，使用Wasserstein距离作为分布之间的差异度量，而不是常规Gan中使用的S形交叉熵损失；

D是1-Lipschitz函数的集合；

P_r和P_g表示由隐式定义的实际图像分布和模型分布。

8.根据权利要求6所述的姿势导引的风格保持人体图像生成方法的损失函数，其中，内容损失L_content定义为：

令ψ_k(·)为网络第k层的激活，则内容损失定义为特征表示之间的差异；

C_k表示CNN层权重并控制第k层的重要性，在实验中将C_k设置为0或1；

L_content用于保留生成图像和原始图像之间的身份。