[发明专利]一种基于姿势-形状-内容推理的人体图像序列生成方法

说明书

本发明公开了一种基于姿势‑形状‑内容推理的人体图像序列生成方法。该方法根据自顶向下的特征推断顺序，将姿势插值路径限制在姿势流形中，利用姿势流形网络线性控制参数实现姿势插值。利用迁移注意网络将插值后的姿势特征转换到端形状特征中，采用注意力机制强调高跨度的空间关系。通过比较目标形状和端形状，内容转换网络估计多尺度特征级光流，并分别变形服装聚类和人体聚类的内容特征，同时采用特征码注入机制辅助无源特征的内容推断。本发明适用于连续的人体图像生成，该方法有助于解决服装在线零售中静态模特图像服装效果展示效果差的问题，有助于实现虚拟试衣和服装售卖的动态展示，有助于姿势驱动的动画电影制作。

技术领域

本发明属于人体姿势图像转换领域，尤其涉及一种基于姿势-形状-内容推理的人体图像序列生成方法。

背景技术

在网上服装零售中，商家通常在网站上用多张模特图片来展示衣服的穿着效果。但消费者只能在静态展示中感知特定姿势或视图下的服装穿着状态。而动态展示则能为消费者提供全方位的服装穿着状态感知，其需要以两张模特图像为端图像，推理其间的连续人体图像序列。这项任务要求生成模型进行自顶向下的特征推理并对任意姿势的推理具有鲁棒性。此外，人体图像序列合成方法还可以应用到虚拟试衣、电影制作和人的重新识别。

现有的人体姿势转换研究主要聚焦于标准视图间任意姿势的推理，对任意视图下任意姿势的转换不具有鲁棒性；由于从姿势到图像的重映射为稀疏对应，为了保证生成图像的质量，必须建立合理的特征推断层级。同时，为了得到连续的图像序列，并不能把姿势作为先验特征，亟需一种参数驱动的姿势插值方法；现有的人体姿势转换研究通常将图像的整体内容输入网络，从而导致网络过载产生低质量的预测结果，其缺乏合理的特征分类以协助网络在内容转换中强调特征重点。在内容转换的空间映射中，需要在有源特征和无源特征的转换嵌入有效的推理机制，以提高图像的生成质量。

综上，现有的技术难以实现两张端图像间连续人体图像序列的推断任务。

发明内容

本发明的目的在于针对现有技术的不足，提供了一种基于姿势-形状-内容推理的人体图像序列生成方法。

本发明的目的是通过以下技术方案来实现的：一种基于姿势-形状-内容推理的人体图像序列生成方法，包括以下步骤：

步骤(1)：将服装图像的起始插值端姿势概率热图和终止插值端姿势概率热图输入姿势流形网络，通过插值参数t控制姿势特征的焦点移动，得到插值后的姿势概率热图；

步骤(2)：将插值后的姿势概率热图和端实例级分割图输入到迁移注意网络得到目标实例级分割图；

步骤(3)：通过对比步骤(2)得到的目标实例级分割图以及端实例级分割图，估计多尺度特征级光流；

步骤(4)：从端实例级分割图中提取特征码；

步骤(5)：将人体图像输入至图像合成模块，最终输出插值参数t条件下的人体图像。

进一步地，所述步骤(1)包括以下子步骤：

(1.1)将服装图像的起始插值端姿势概率热图p₀输入姿势编码器E_p中并在姿势编码器E_p的末端生成起始姿势特征图服装图像的终止插值端姿势概率热图p₁输入姿势编码器E_p中并在姿势编码器E_p的末端生成终止姿势特征图

(1.2)将起始姿势特征图终止姿势特征图并行输入第一瓶颈层组合，所述第一瓶颈层组合包括3×3个瓶颈层；起始姿势特征图经过3个瓶颈层输出终止姿势特征图经过3个瓶颈层输出

(1.3)随后将起始姿势特征图终止姿势特征图输入至姿势流形模块进行姿势插值得到插值姿势特征图其中，t为插值参数，t为和大小一样的系数矩阵，⊙为元素相乘符号；插值姿势特征图经过1个瓶颈层输出