[发明专利]基于条件对抗生成网络的运动序列生成方法

权利要求书

1.一种基于条件对抗生成网络的运动序列生成方法，其特征在于，包括：

获取初始运动序列图片；

检测出所述初始运动序列图片对应的骨架序列图片；

将所述骨架序列图片和所述初始运动序列图片对应的外观图片作为条件对抗生成网络的输入条件，以使所述条件对抗生成网络输出目标运动序列图片；其中，所述条件对抗生成网络包括生成模型和判别模型，所述生成模型用于生成与真实图片相似的合成图片，所述判别模型用于在所述对抗生成网络的训练阶段判别生成的图片是否为真实图片。

2.根据权利要求1所述的基于条件对抗生成网络的运动序列生成方法，其特征在于，在将所述骨架序列图片和所述初始运动序列图片对应的外观图片作为条件对抗生成网络的输入条件，以使所述条件对抗生成网络输出目标运动序列图片之前，还包括：

从运动视频数据库中选取训练视频集和测试视频集；

通过所述训练视频集训练所述条件对抗生成网络的生成模型，并通过所述判别模型判断所述生成模型生成的合成图片是否为真实图片；若所述判别模型判断所述生成模型生成的合成图片不是真实图片，则对所述生成模型进行调整后继续训练；

若所述判别模型判断所述生成模型生成的合成图片为真实图片，则训练结束；通过所述测试视频集对所述生成模型进行测试，得到相应的测试结果；若所述测试结果符合预设的要求时，得到训练完成的条件对抗生成网络。

3.根据权利要求1所述的基于条件对抗生成网络的运动序列生成方法，其特征在于，所述检测出所述初始运动序列图片对应的骨架序列图片，包括：

通过检测器提取出所述初始运动序列图片中运动人体的骨架，并将所述初始运动序列图片的背景设置为黑色，得到在黑色背景下的运动人体的骨架序列图片；其中，所述骨架序列图片中包含人体躯干、四肢的运动信息。

4.根据权利要求1所述的基于条件对抗生成网络的运动序列生成方法，其特征在于，所述外观图片包括：运动人体的衣着信息、环境背景信息、外貌信息。

5.根据权利要求1-4中任一项所述的基于条件对抗生成网络的运动序列生成方法，其特征在于，所述生成模型为堆叠式生成器，所述堆叠式生成器包括以下任一方式生成合成图片：

将两张三通道的输入图片叠加成为一张六通道的输入图片，并根据所述六通道的输入图片生成合成图片；或者

将骨架图片和外观图片合成一个三通道输入图片，并根据所述三通道输入图片生成合成图片。

6.根据权利要求1-4中任一项所述的基于条件对抗生成网络的运动序列生成方法，其特征在于，所述生成模型为双通道式生成器，所述双通道式生成器是指通过两个编码器对骨架图片和外观图片进行编码，将编码后的骨架图片和外观图片进行特征拼接，并输入解码通道进行解码处理后所得到的合成图片。

7.根据权利要求2所述的基于条件对抗生成网络的运动序列生成方法，其特征在于，所述通过所述训练视频集训练所述条件对抗生成网络的生成模型，包括：

采用三元组损失函数来对所述训练视频集中不连续视频帧的距离小于连续视频帧距离的情况做出惩罚，并在训练过程中考虑对抗生成网络损失函数、L1损失函数。

8.根据权利要求7所述的基于条件对抗生成网络的运动序列生成方法，其特征在于，所述通过所述判别模型判断所述生成模型生成的合成图片是否为真实图片，包括：

将真实三元组或者合成三元组作为判别模型的输入，输出针对真实三元组或者合成三元组的判别结果；其中，真实三元组包括：外观图片、骨架序列图片和真实图片，三元组损失函数中的合成三元组包括：外观图片、骨架序列图片和合成图片。

9.根据权利要求7所述的基于条件对抗生成网络的运动序列生成方法，其特征在于，所述三元组损失函数如下：

式中：L_mot(G)表示损失函数结果，表示锚图片，表示正采样图片，表示负采样图片，表示L2损失，α表示最小距离间隔；[]₊符号表示括号内的值大于0时，该值为损失，小于0时，损失为0；

综合的损失函数如下：

式中：λ和β是总和损失函数不同部分的权重，L(G,D)表示模型总损失函数，L_c(C,D)表示对抗生成网络损失，表示L1损失函数，L_mot(G)表示三元组损失。