[发明专利]一种标签的构建方法、系统、装置及存储介质

说明书

本发明公开了一种用于训练模型的标签构建方法、系统、装置及存储介质，通过对人物图像进行标签提取，将复杂的人物图像，简化为关键点二维坐标或二维掩码，用于训练生成对抗神经网络模型(GAN模型)；通过简单地修改关键点的坐标位置，或者二维掩码形状，就可以生成不同的标签图像，输入训练好的生成对抗神经网络模型，即可生成与标签对应的人物图像，再进一步合成视频，极大地简化了人物视频合成的操作过程，提高工作效率；后续也可根据实际生成需求，添加新的标签为限制条件，并将标签及与标签对应的真实图像送入生成对抗网络模型中进行训练，最终能通过拓展条件生成对应的真实图像。本发明广泛应用于图像处理技术领域。

技术领域

本发明涉及图像处理技术领域，尤其是一种用于训练模型的标签的构建方法、系统、装置及存储介质。

背景技术

现有的虚拟人物视频合成方法往往是通过获取多帧图像，分别在多帧图像中识别人物以及人物的骨骼关键点等操作进行视频合成，该方法需要建立训练模型，并需要通过人工对用于输入模型的图像进行一一标注，以训练好模型，操作起来繁琐复杂，且需要工作人员有高水平的图像处理能力，工作量大，工作效率低。

发明内容

为解决上述至少一个问题，本发明的目的在于提供一种用于训练模型的标签的构建方法、系统、装置及存储介质。

本发明所采取的技术方案是：一方面，本发明实施例包括一种用于训练模型的标签构建方法，包括：

获取用于训练模型的人物图像样本；

对所述人物图像样本进行关键点检测，提取得到多组关键点坐标；

对所述人物图像样本进行图像分割，提取得到多组二维掩码；

将所述多组关键点坐标与多组二维掩码进行组合，构建成标签。

进一步地，对所述人物图像样本进行关键点检测，提取得到多组二维点坐标数据这一步骤，具体包括：

利用深度神经网络对所述图像进行区域检测，所述区域包括人脸区域、身体区域；

在检测到的人脸区域中，进一步检测各器官关键点，并得到各器官对应的关键点坐标；

在检测到的身体区域中，进一步检测身体各结构的关键点，并得到身体各结构对应的关键点坐标；

提取各器官对应的关键点坐标和身体各结构对应的关键点坐标，得到多组关键点坐标。

进一步地，对所述人物图像标本进行图像分割，提取得到多组二维掩码数据这一步骤，具体包括：

扫描所述人物图像样本以找出目标存在的区域；

采用区域建议网络生成相应的提议；

对所述提议进行感兴趣区域分类，并生成边界框和掩码，所述边界框用于标出所述目标，所述掩码用于标识所述目标的范围；

提取得到多组二维掩码。

进一步地，所述图像分割包括服饰分割和头部分割；

所述服饰分割用于对人物图像标本中的人物服饰进行分割，以获取衣服的二维掩码和/或领带的二维掩码；

所述头部分割用于对人物图像标本中的人物头部进行分割，以获取人物头部的二维掩码。

另一方面，本发明实施例还包括一种生成对抗网络模型的训练方法，包括以下步骤：

使用所述标签构建方法构建第一标签；

构建训练集，所述训练集由人物图像样本和第一标签组成，所述第一标签为根据所述人物图像样本构建得到；

获取所述训练集以对生成对抗网络模型进行训练；