[发明专利]一种基于视角变换的正面人体图像生成方法

说明书

本发明公开了一种基于视角变换的正面人体图像生成方法，用于解决在无需输入目标姿态的情况下，从人体侧面视角图像生成正面视角图像的问题。本方法首先通过FP‑Net获取人体正面姿态作为网络的目标姿态。然后，将人体图像和姿态输入到生成器，更新人体的外观和形态特征。最后，将生成的正面人体图像输入到鉴别器中，帮助生成具有真实感的正面人体图像。实验结果表明，该模型可以生成具有较好的外观一致性和形态一致性的正面人体图像。

技术领域

本发明涉及计算机视觉和计算机图形学等领域，尤其是针对在视角变换下的基于生成对抗网络(GAN)的人体图像生成方法。

背景技术

近几年，基于深度学习的人体图像生成算法逐渐成熟，人体图像生成可以用于虚拟试衣、图像或视频合成以及行人再识别等应用，但在人体图像生成方面仍可以观察到令人不满的地方，因为卷积操作是一次处理一个局部邻域的构建块，这意味着无法捕获外观和形状特征之间的联合，从而对图像生成有很大影响。目前为止，基于图像到图像的生成网络有许多，但大多不适用于人体图像生成，因为人体结构较为复杂，且人体图像生成往往存在变形。因此，图像到图像的生成模型并不能生成具有准确姿态的人体图像，如何生成具有较好的外观一致性和形态一致性的人体图像，是目前人体图像生成任务面临的最大挑战，这一问题的解决有赖于姿态迁移方法的突破。

综上，基于姿态指导的人体图像生成算法具有明显的优势，人体图像生成可以理解为将输入图像的一部分转移到目标图像上，姿态指导下的人体图像生成是非常具有挑战的，尤其是给定的图像存在不可见区域时，生成模型需要推断出观查不到的区域。较为复杂的是，需要输入源姿态和目标姿态，但在实际应用中往往无法获得目标图像，所以获取目标姿态的过程较为复杂。

发明内容

我们的目的是将侧面视角人体图像转换为正面视角人体图像，如图1所示，对于人体图像的不同视角，可以看作从侧面视角图像中还原正面视角部分，并生成正面视角的图像，建模视角转换问题如下，公式表示生成器根据输入的条件生成正面视角人体图像，且约束生成的正面视角人体图像与真实的正面视角人体图像之间的距离应该足够小。

I′_f＝G(I_s，P_s，P_f)

其中，G表示生成器，I_s表示侧面视角人体图像，P_s表示侧面视角人体图像的姿态，P_f表示正面视角人体图像的姿态，I_f表示真实的正面视角人体图像，I'_f表示生成的正面视角人体图像。

为了解决人体图像生成所存在的问题，并且考虑到正面图像包含的信息量最大，本发明公开了一种基于GAN和FP-Net的正面视角人体图像的生成方法，流程如图2所示。首先，用FP-Net来预测多视角人体图像的正面姿态。然后，将侧面人体图像、侧面人体姿态、FP-Net获得的正面人体姿态输入到生成器中，由生成器学习将侧面视角人体图像映射到正面视角人体图像。通过侧面人体图像直接获取其正面姿态比较困难，本方法通过FP-Net可以预测较为准确的正面人体姿态，并直接输入到生成网络，解决了在正面姿态获取不到或较为复杂的情况下，生成具有形态一致性和外观一致性的正面人体图像。

针对多视角图像数据，考虑正面人体图像包含的信息量最大，本发明基于GAN和FP-Net设计正面人体图像生成网络，实现基于视角变换的图像生成任务，实验证明本发明可以生成具有真实感的证明人体图像。

附图说明

图1、侧面视角人体图像转换为正面视角人体图像示意图。

图2、本发明方法流程图。

图3、正面人体姿态估计模块。

图4、外观生成模块。

图5、形态生成模块。