[发明专利]一种人物场景视频生成方法、系统、装置及存储介质

权利要求书

1.一种人物场景视频生成方法，其特征在于，包括：

获取第一图像，所述第一图像为带有限制条件的标签图像，所述限制条件包括人脸轮廓、人体关键点骨架、人体轮廓、头部轮廓和背景；

利用训练好的生成对抗网络模型接收所述第一图像并进行处理，以输出第二图像，所述第二图像为与限制条件对应的真实图像；

获取语音信号；

将所述第二图像与所述语音信号结合，生成人物场景视频。

2.根据权利要求1所述的一种人物场景视频生成方法，其特征在于，还包括对生成对抗网络模型进行训练，包括：

构建训练集，所述训练集由人物图像样本、人物视频样本和标签样本组成，所述标签样本是通过对所述人物图像样本和人物视频样本进行关键点及掩码提取得到；

获取所述训练集以对生成对抗网络模型进行训练。

3.根据权利要求2所述的一种人物场景视频生成方法，其特征在于，还包括对生成对抗网络模型进行检测，包括：

修改标签样本；

生成对抗网络模型获取修改后的标签样本；

检测生成对抗网络模型是否输出与标签对应的图像和/或视频。

4.根据权利要求3所述的一种人物场景视频生成方法，其特征在于，所述修改标签样本这一步骤，具体包括：

对人物图像样本和人物视频样本进行关键点和掩码提取得到标签样本；

改变关键点坐标位置和掩码形状，以修改标签样本。

5.根据权利要求3所述的一种人物场景视频生成方法，其特征在于，所述生成对抗网络模型包括生成网络和判别网络；

所述生成网络用于接收所述第一图像，并生成第二图像；

所述判别网络用于判别所述第二图像的真实度。

6.根据权利要求5所述的一种人物场景视频生成方法，其特征在于，所述生成网络包括多个子网络，其中包括第一子网络和第二子网络；

所述第一子网络用于生成包含全局信息的图像；

所述第二子网络用于对所述第一子网络生成的图像进行局部细节增强，以输出包含局部细节特征的图像。

7.根据权利要求5所述的一种人物场景视频生成方法，其特征在于，判别网络判别所述第二图像的真实度这一步骤，具体包括：

将第二图像裁剪成多个不同尺度的图像；

利用多尺度判别器在所述多个不同尺度的图像上进行判别，得到多个判别结果值；

计算多个判别结果值的平均值；

根据计算得到的平均值，判别所述第二图像的真实度。

8.一种人物场景视频生成系统，其特征在于，包括测试模块和训练模块；

所述测试模块用于：

获取第一图像，所述第一图像为带有限制条件的标签图像，所述限制条件包括人脸轮廓、人体关键点骨架、人体轮廓、头部轮廓和背景；

利用训练好的生成对抗网络模型接收所述第一图像并进行处理，以输出第二图像，所述第二图像为与限制条件对应的真实图像；

获取语音信号；

将所述第二图像与所述语音信号结合，生成人物场景视频；

所述训练模块用于通过以下过程对所述生成对抗网络模型进行训练：

构建训练集，所述训练集由人物图像样本、人物视频样本和标签样本组成，所述标签样本是通过对所述人物图像样本和人物视频样本进行关键点及掩码提取得到；

获取所述训练集以对生成对抗网络模型进行训练；

检测生成对抗网络模型是否输出与标签对应的图像和/或视频。

9.一种人物场景视频生成装置，其特征在于，包括处理器和存储器，其中，

所述存储器用于存储程序指令；

所述处理器用于读取所述存储器中的程序指令，并根据所述存储器中的程序指令执行权利要求1～7任一项所示的一种人物场景视频生成方法。

10.一种计算机可读存储介质，其特征在于，

计算机可读存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行权利要求1～7任一项所示的一种人物场景视频生成方法。