[发明专利]一种模型训练方法及模型训练装置

说明书

本发明实施例公开了一种模型训练方法及模型训练装置，用于在生成数字人时，增加数字人的姿态细节信息。本发明实施例方法包括：从视频数据的各帧图像中分别提取出各帧图像的人体关键点参数，并将每帧图像的人体关键点参数输入至SMPL‑X模型中，以生成与每帧图像人体姿态对应的人体3D模型，所述人体关键点参数包括人体骨骼点参数、手部关键点参数和人脸关键点参数；将目标帧的人体3D模型和目标帧图像输入至图像翻译模型中进行训练，并将训练后的图像翻译模型作为第一图像翻译模型，其中，所述图像翻译模型为GAN网络模型，所述目标帧为所述视频数据中任意一帧或任意多帧。

技术领域

本发明涉及图像翻译技术领域，尤其涉及一种模型训练方法及模型训练装置。

背景技术

所谓图像翻译，指从一副图像到另一副图像的转换。可以类比机器翻译，将一种语言转换为另一种语言。

现有技术中较为经典的图像翻译模型有pix2pix，pix2pixHD，vid2vid。pix2pix提出了一个统一的框架解决了各类图像翻译问题，pix2pixHD则在pix2pix的基础上，较好的解决了高分辨率图像转换（翻译）的问题，vid2vid则在pix2pixHD的基础上，较好的解决了高分辨率的视频转换问题。

数字人，是一种利用信息科学的方法对人体在不同水平的形态和功能进行的虚拟仿真。而目前的图像翻译模型，可以对图像中的数字人进行虚拟仿真，但现有技术中的图像翻译模型，因为在训练过程中，只是基于骨骼点数据去进行训练，从而使得现有的图像翻译模型在生成数字人的姿态时，只有骨骼点的信息，而缺乏人体姿态的细节信息。

发明内容

本发明实施例提供了一种模型训练方法及训练装置，用于在生成数字人时，增加数字人的姿态细节信息。

本申请实施例第一方面提供了一种模型训练方法，包括：

从视频数据的各帧图像中分别提取出各帧图像的人体关键点参数，并将每帧图像的人体关键点参数输入至SMPL-X 模型中，以生成与每帧图像人体姿态对应的人体3D模型，所述人体关键点参数包括人体骨骼点参数、手部关键点参数和人脸关键点参数；

将目标帧的人体3D模型和目标帧图像输入至图像翻译模型中进行训练，并将训练后的图像翻译模型作为第一图像翻译模型，其中，所述图像翻译模型为GAN网络模型，所述目标帧为所述视频数据中任意一帧或任意多帧。

优选的，所述将目标帧的人体3D模型和目标帧图像输入至图像翻译模型中进行训练，包括：

将所述目标帧的人体3D模型、人体关键点参数和所述目标帧图像输入至所述图像翻译模型中进行训练。

优选的，所述将目标帧的人体3D模型和目标帧图像输入至图像翻译模型中进行训练，包括：

将所述目标帧及与所述目标帧相邻的若干帧的训练数据输入至所述图像翻译模型中进行训练，其中，所述训练数据包括所述目标帧的人体3D模型、人体关键点参数、所述目标帧图像、所述若干帧的人体3D模型和人体关键点参数。

优选的，所述第一图像翻译模型中的生成模型为编码-解码模型，所述编码模型采用RestNet残差网络架构进行训练，所述方法还包括：

将所述编码模型中的所述RestNet架构修改为轻量模型架构；

将第一训练数据输入至所述第一图像翻译模型中进行训练，并将训练后的第一图像翻译模型作为第二图像翻译模型。

优选的，所述第二图像翻译模型中的生成模型为编码-解码模型，所述第二图像翻译模型中的解码模型采用反卷积算子进行训练，所述方法还包括：

将所述反卷积算子替换为上采样算子；

将所述第一训练数据输入至所述第二图像翻译模型进行训练，并将训练后的第二图像翻译模型作为第三图像翻译模型。