[发明专利]基于人体姿态的多视角人体图像合成方法及装置

说明书

本发明属于图像合成技术领域，具体提供一种基于人体姿态的多视角人体图像合成方法及装置。旨在解决现有技术无法有效地进行人的多视角图像合成以及保持人的特征不发生明显变化的问题。本发明提供了一种基于人体姿态的多视角人体图像合成方法，包括基于姿态转换模型并根据原始人体姿态和目标视角，对原始人体姿态进行姿态转换；基于前景转换模型并根据原始前景图像、原始人体姿态和目标视角人体姿态，对原始前景图像进行前景转换；基于多视角合成模型并根据原始图像和目标前景图像，对原始图像进行多视角合成，得到多视角人体合成图像。本发明提供的方法具有保持合成图像中人的特征，以及合成高质量的合成图像的有益效果。

技术领域

本发明属于图像合成技术领域，具体涉及一种基于人体姿态的多视角人体图像合成方法及装置。

背景技术

人的多视角图像合成在人体行为理解中具有重要的应用价值，利用人的多视角合成图像可以有效地解决在计算机视觉中存在的跨视角问题，例如跨视角行为识别、跨视角行人再识别等问题。

现有的多视角图像合成主要是针对刚性物体(例如汽车、椅子等等)的多视角合成，而随着多视角图像合成应用越来越广泛，对人进行多视角合成变得越来越重要。虽然人的姿态在三维空间中是不变的，但是进行人的多视角合成时，将三维空间的人体姿态映射到二维空间中，不同视角的二维图像中人体姿态相差很大，所以多视角人体图像合成需要保持人体姿态在三维空间中不变的情况下，合成对应视角的二维姿态图像。进行合成时，合成的新视角的图像的外观特性要和原始视角的图像保持一致，例如人的外观要保持不变，人的衣着类型、颜色、人的外貌不能发生明显的变化。而现有技术针对刚性物体的多视角合成无法很好地达到上述要求。

因此，如何提出一种在对人进行多视角图像合成的同时保持人的特征不发生明显变化的方案是本领域技术人员目前需要解决的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决现有技术无法有效地进行人的多视角图像合成以及保持人的特征不发生明显变化的问题，本发明的第一方面提供了一种基于人体姿态的多视角人体图像合成方法，包括：

基于预先构建的姿态转换模型并根据当前获取的原始人体姿态和目标视角，对所述原始人体姿态进行姿态转换，得到目标视角人体姿态；

基于预先构建的前景转换模型并根据当前获取的原始前景图像、所述原始人体姿态和目标视角人体姿态，对所述原始前景图像进行前景转换，得到目标前景图像；

基于预先构建的多视角合成模型并根据当前获取的原始图像和所述目标前景图像，对所述原始图像进行多视角合成，得到多视角人体合成图像；

其中，所述姿态转换模型、前景转换模型和多视角合成模型均是基于预设的多视角人体图像数据并利用机器学习算法所构建的神经网络模型。

在上述方法的优选技术方案中，在“基于预先构建的姿态转换模型并根据当前获取的原始人体姿态和目标视角，对所述原始人体姿态进行姿态转换”步骤之前，所述方法还包括：

基于所述多视角人体图像数据并利用反向传播算法训练所述姿态转换模型。

在上述方法的优选技术方案中，在“基于预先构建的前景转换模型并根据获取的原始前景图像、所述原始人体姿态和目标视角人体姿态，对所述原始前景图像进行前景转换”的步骤之前，所述方法还包括：

利用训练后的姿态转换模型获取目标视角对应的目标视角人体姿态；

基于所述多视角人体图像数据和所述目标视角人体姿态并利用反向传播算法训练所述前景转换模型。

在上述方法的优选技术方案中，在“基于预先构建的多视角合成模型并根据获取的原始图像和所述目标前景图像，对所述原始图像进行多视角合成”的步骤之前，所述方法还包括：

利用训练后的前景转换模型获取原始前景图像对应的目标前景图像；