[发明专利]基于条件对抗生成网络的运动序列生成方法

说明书

本发明提供了一种基于条件对抗生成网络的运动序列生成方法，包括：获取初始运动序列图片；检测出所述初始运动序列图片对应的骨架序列图片；将所述骨架序列图片和所述初始运动序列图片对应的外观图片作为条件对抗生成网络的输入条件，以使所述条件对抗生成网络输出目标运动序列图片。本发明采用骨架序列图片和外观图片作为条件对抗生成网络的两个输入，从而能够提供给运动画面较强的结构、几何方面的约束，得到流畅清晰的运动轨迹，实现对视频序列的准确预测。

技术领域

本发明涉及视频图像处理技术领域，具体地，涉及基于条件对抗生成网络的运动序列生成方法。

背景技术

在智能视频监控和人机交互中都需要对物体的运动进行预测，并生成相应的运动序列图像。在智能视频监控当中，目标物体会出现被遮挡或由于光线不佳而变得模糊的情况，在这种情况下需要对不清晰的画面进行预测和生成，以保证监控画面的质量。而在人机交互当中，计算机根据人的不同动作做出不同的反馈，同样会出现画面遮挡或者不清晰的情况，这时需要计算机根据之前的画面来预测或生成后面的画面。

现有的视频生成方法主要是两种不同的方法。第一种是从一个连续的视频序列当中学习运动模式来预测或生成下一帧的画面。这种方法通常是基于递归结构，例如递归神经网络RNN(Recurrent neural Network，RNN)和长短期记忆网络(Long Short-TermMemory，LSTM)。尽管RNN和LSTM对序列化数据具有很好的建模能力，但是它们通常是对简短的视频这样短期的预测具有较好的效果。而对长期视频的预测，结果通常是模糊或物体扭曲这样低质量的画面。第二种是基于单一输入或者仅仅基于一个场景类型来直接生成一个视频序列。第二种方法可以利用对抗生成网络来生成空间和时间上的运动。但是如果在前景中对物体的运动没有约束而任由其任意运动，将会导致画面中物体的扭曲。无论采用第一种还是第二种方法，生成模型并不能对前景中的运动物体很好的建模。因为之前的生成方法只取整张图片的纹理信息作为输入，在非监督的情况下想要学习结构化的关系是很难的，导致得到的运动画面会非常扭曲。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于条件对抗生成网络的运动序列生成方法。

根据本发明提供的一种基于条件对抗生成网络的运动序列生成方法，包括：

获取初始运动序列图片；

检测出所述初始运动序列图片对应的骨架序列图片；

将所述骨架序列图片和所述初始运动序列图片对应的外观图片作为条件对抗生成网络的输入条件，以使所述条件对抗生成网络输出目标运动序列图片；其中，所述条件对抗生成网络包括生成模型和判别模型，所述生成模型用于生成与真实图片相似的合成图片，所述判别模型用于在所述对抗生成网络的训练阶段判别生成的图片是否为真实图片。

可选地，在将所述骨架序列图片和所述初始运动序列图片对应的外观图片作为条件对抗生成网络的输入条件，以使所述条件对抗生成网络输出目标运动序列图片之前，还包括：

从运动视频数据库中选取训练视频集和测试视频集；

通过所述训练视频集训练所述条件对抗生成网络的生成模型，并通过所述判别模型判断所述生成模型生成的合成图片是否为真实图片；若所述判别模型判断所述生成模型生成的合成图片不是真实图片，则对所述生成模型进行调整后继续训练；

若所述判别模型判断所述生成模型生成的合成图片为真实图片，则训练结束；通过所述测试视频集对所述生成模型进行测试，得到相应的测试结果；若所述测试结果符合预设的要求时，得到训练完成的条件对抗生成网络。

可选地，所述检测出所述初始运动序列图片对应的骨架序列图片，包括：