[发明专利]一种模型训练方法及模型训练装置

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

从视频数据的各帧图像中分别提取出各帧图像的人体关键点参数，并将每帧图像的人体关键点参数输入至SMPL-X 模型中，以生成与每帧图像人体姿态对应的人体3D模型，其中，所述人体关键点参数包括人体骨骼点参数、手部关键点参数和人脸关键点参数；

将目标帧的人体3D模型和目标帧图像输入至图像翻译模型中进行训练，并将训练后的图像翻译模型作为第一图像翻译模型，其中，所述图像翻译模型为GAN网络模型，所述目标帧为所述视频数据中任意一帧或任意多帧。

2.根据权利要求1所述的方法，其特征在于，所述将目标帧的人体3D模型和目标帧图像输入至图像翻译模型中进行训练，包括：

将所述目标帧的人体3D模型、人体关键点参数和所述目标帧图像输入至所述图像翻译模型中进行训练。

3.根据权利要求1所述的方法，其特征在于，所述将目标帧的人体3D模型和目标帧图像输入至图像翻译模型中进行训练，包括：

将所述目标帧及与所述目标帧相邻的若干帧的训练数据输入至所述图像翻译模型中进行训练，其中，所述训练数据包括所述目标帧的人体3D模型、人体关键点参数、所述目标帧图像、所述若干帧的人体3D模型和人体关键点参数。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一图像翻译模型中的生成模型为编码-解码模型，所述第一图像翻译模型中的生成模型的编码模型采用RestNet残差网络架构进行训练，所述方法还包括：

将所述编码模型中的所述RestNet架构修改为轻量模型架构；

将第一训练数据输入至所述第一图像翻译模型中进行训练，并将训练后的第一图像翻译模型作为第二图像翻译模型；

所述第一训练数据包括：

所述目标帧的人体3D模型和所述目标帧图像；

或，

所述目标帧的人体3D模型、人体关键点参数和所述目标帧图像；

或，

所述目标帧的人体3D模型、人体关键点参数、所述目标帧图像、及与所述目标帧相邻的若干帧的人体3D模型和人体关键点参数。

5.根据权利要求4所述的方法，所述第二图像翻译模型中的生成模型为编码-解码模型，所述第二图像翻译模型中的解码模型采用反卷积算子进行训练，其特征在于，所述方法还包括：

将所述反卷积算子替换为上采样算子；

将所述第一训练数据输入至所述第二图像翻译模型进行训练，并将训练后的第二图像翻译模型作为第三图像翻译模型。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述第三图像翻译模型中的生成模型输入至加速框架，使得所述加速框架解析所述第三图像翻译模型中的生成模型，并对所述第三图像翻译模型中的生成模型的图像翻译速度进行加速。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当所述加速框架为TensorRT时，将所述图像翻译模型中的reflect padding算子替换为 padding算子。

8.根据权利要求1至3中任一项所述的方法，其特征在于，所述图像翻译模型包括pix2pix模型、pix2pixHD模型和vid2vid模型中的至少一种。

9.根据权利要求4所述的方法，其特征在于，所述轻量模型包括MobileNet模型、ShuffleNet模型、SqueezeNet模型和Xception模型中的至少一种。