[发明专利]数字人视频生成方法、装置、电子设备和存储介质

说明书

本公开实施例公开了一种数字人视频生成方法、装置、电子设备和存储介质。上述方法包括：获取目标音频和目标人脸图像；针对上述目标音频中的音频帧，将该音频帧对应的音频帧序列和上述目标人脸图像中的目标区域图像输入至预先训练的端到端模型中，生成与该音频帧相对应的目标图像，其中，该音频帧对应的音频帧序列为上述目标音频中包含该音频帧的连续的音频帧的序列，上述目标区域图像为上述目标人脸图像中除嘴部区域图像之外的区域图像，与该音频帧相对应的目标图像用于指示上述目标人脸图像指示的人员发出该音频帧指示的音频；基于所生成的目标图像，生成数字人视频。本公开实施例可以提高数字人生成的效率。

技术领域

本公开涉及数字人视频生成技术领域，尤其是一种数字人视频生成方法、装置、电子设备和存储介质。

背景技术

数字人的生成技术日趋成熟。现有方案有基于pix2pix、pix2pixHD、video2videosynthesis的数字人生成方法。具体而言，目前出现了大量的数字人生成技术，例如基于pix2pix、pix2pixHD、Vid2Vid、few shot video2video、NERF、StyleGAN等数字人生成方法。

然而，现有这些方案中，若生成的人脸关键点不准确、生成素描图的效果比较差，则会导致最终生成的数字人图片的效果比较差。

发明内容

鉴于此，为解决如上部分或全部技术问题，本公开实施例提供一种数字人视频生成方法、装置、电子设备和存储介质。

第一方面，本公开实施例提供一种数字人视频生成方法，该方法包括：

获取目标音频和目标人脸图像；

针对上述目标音频中的音频帧，将该音频帧对应的音频帧序列和上述目标人脸图像中的目标区域图像输入至预先训练的端到端模型中，生成与该音频帧相对应的目标图像，其中，该音频帧对应的音频帧序列为上述目标音频中包含该音频帧的连续的音频帧的序列，上述目标区域图像为上述目标人脸图像中除嘴部区域图像之外的区域图像，与该音频帧相对应的目标图像用于指示上述目标人脸图像指示的人员发出该音频帧指示的音频；

基于所生成的目标图像，生成数字人视频。

可选地，在本公开任一实施例的方法中，上述端到端模型包括第一子模型、第二子模型和第三子模型，上述第一子模型的输入数据为音频帧对应的音频帧序列，上述第一子模型的输出数据为第一隐藏向量，上述第二子模型的输入数据为上述目标人脸图像中的目标区域图像，上述第二子模型的输出数据为第二隐藏向量，上述第三子模型的输入数据包括上述第一隐藏向量和上述第二隐藏向量，上述第三子模型的输出数据包括目标图像；以及

上述将该音频帧对应的音频帧序列和上述目标人脸图像中的目标区域图像输入至预先训练的端到端模型中，生成与该音频帧相对应的目标图像，包括：

将该音频帧对应的音频帧序列输入至上述第一子模型，得到第一隐藏向量；

将上述目标人脸图像中的目标区域图像输入至上述第二子模型，得到第二隐藏向量；

将上述第一隐藏向量和上述第二隐藏向量进行合并处理，得到合并后向量；

将上述合并后向量输入至上述第三子模型，得到与该音频帧相对应的目标图像。

可选地，在本公开任一实施例的方法中，上述端到端模型通过如下方式训练得到：

获取视频数据；

从上述视频数据中提取音频帧和与音频帧相对应的人脸图像，将所提取的音频帧对应的音频帧序列作为样本音频，将所提取的人脸图像作为样本人脸图像；