[发明专利]视频数据处理方法、装置、设备及介质

说明书

本申请涉及一种视频数据处理方法、装置、设备及介质，涉及计算机技术领域，该视频数据处理方法包括：确定待处理视频；依据待处理视频确定待处理图像信息，待处理图像信息包括从待处理视频中提取到的各待处理帧图像信息；分别依据各待处理帧图像信息对应的参考图像信息确定各待处理帧图像信息对应的目标合成图像信息，并分别将各待处理帧图像信息对应的目标合成图像信息输入到预先训练的生成器中，得到生成器生成的各待处理帧图像信息对应的目标图像信息；依据各待处理帧图像信息对应的目标图像信息，生成目标视频。本申请解决了现有技术中由于利用一张图片生成数字人图片导致生成数字人视频帧稳定性差的问题，提高生成视频帧的稳定性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种视频数据处理方法、装置、设备及介质。

背景技术

数字人，是一种利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。随着计算机技术的快速发展，数字人的生成技术越来越成熟。

在实际处理中，如果数字人生成技术想要应用在商业，实现实时交互，则数字人生成方案至少需要满足两点：生成效果好和推理速度快；其中，数字人的生成效果好是必要的前提，推理速度快是商业的需要。目前出现的大量生成技术，主要是基于诸如于pix2pix，pix2pixHD,Vid2Vid，few shot video2video，NERF，StyleGAN等图像翻译模型，实现数字人视频的生成。具体的，现有这些图像翻译模型主要是将当前帧的真实图片或真实图片的素描图输入到生成器中，以通过生成器生成对应的数字人图片，以便后续可以基于该数字人图片生成数字人视频并输出。

发明内容

有鉴于此，本申请提供了一种视频数据处理方法、装置、设备及介质，以提升生成视频帧的稳定性，解决了现有技术中由于利用一张图片生成数字人图片导致生成数字人视频帧稳定性差的问题。

第一方面，本申请实施例提供了一种视频数据处理方法，包括：

确定待处理视频；

依据所述待处理视频确定待处理图像信息，所述待处理图像信息包括从所述待处理视频中提取到的各待处理帧图像信息；

分别依据各待处理帧图像信息对应的参考图像信息，确定各待处理帧图像信息对应的目标合成图像信息，并分别将各待处理帧图像信息对应的目标合成图像信息输入到预先训练的生成器中，得到所述生成器生成的各待处理帧图像信息对应的目标图像信息；

依据所述各待处理帧图像信息对应的目标图像信息，生成目标视频。

可选的，所述分别依据各待处理帧图像信息对应的参考图像信息，确定各待处理帧图像信息对应的目标合成图像信息，并分别将各待处理帧图像信息对应的目标合成图像信息输入到预先训练的生成器中，得到所述生成器生成的各待处理帧图像信息对应的目标图像信息，包括：确定每一待处理帧图像信息对应的参考图像信息；依据每一待处理帧图像信息的人脸关键点信息和轮廓线信息，确定每一待处理帧图像信息的素描图信息；针对每一待处理帧图像信息，依据所述处理帧图像信息的素描图信息和所述处理帧图像信息对应的参考图像信息进行图像合成，得到每一待处理帧图像信息对应的目标合成图信息，并将每一待处理帧图像信息对应的目标合成图信息将输入到预先训练的生成器中，得到每一待处理帧图像信息对应的目标图像信息。

可选的，所述确定每一待处理帧图像信息对应的参考图像信息，包括：若所述待处理帧图像信息为视频首帧图像信息，则基于所述待处理帧图像信息创建全零图像信息，并将所述全零图像信息确定为所述待处理帧图像信息对应的参考图像信息；若所述待处理帧图像信息不是视频首帧图像信息，则将参考帧目标图像信息确定为所述待处理图像对应的参考图像信息，所述参考帧目标图像信息为所述待处理帧图像信息的前一帧图像对应的目标图像信息。

可选的，所述确定待处理视频之前，还包括：

从预设的训练数据集中获取待训练视频图像信息，所述待训练视频图像信息包含第一视频图像信息和第二视频图像信息；