[发明专利]数字人训练数据采集方法、装置、电子设备及存储介质

说明书

本申请公开了一种数字人训练数据采集方法、装置、电子设备及存储介质，涉及图像处理技术领域，该方法包括：获取台词信息；基于所述台词信息获取标准人物特征信息；获取当前片段中目标对象的当前人物特征信息；判断所述当前人物特征信息与所述标准人物特征信息是否匹配；若所述当前人物特征信息与所述标准人物特征信息匹配，则采集所述当前片段作为数字人训练数据。本申请能够提升训练数据的采集效率以及采集的训练数据的质量。

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种数字人训练数据采集方法、装置、电子设备及存储介质。

背景技术

随着科技的迅猛发展，人机交互技术渗透到日常生活中的方方面面，其中，数字虚拟人在人机交互技术中变得越来越重要，数字虚拟人是利用虚拟现实技术、人机交互、高精度三维人像模拟、人工智能(AI)、动作捕捉、面部表情捕捉等技术制作的虚拟三维人。其中，在制作数字虚拟人时，通常是通过真人录制视频来得到训练数据，然后将该训练数据与数字虚拟人进行训练，以便数字虚拟人动起来时可以和真人一样。

然而，通过真人录制视频得到的训练数据可能存在不符合标准的问题，目前在真人录制训练数据的视频时，通常是通过人工监场来确保采集的训练数据符合标准，因此会花费大量时间成本和人力成本，导致训练数据采集效率低下。

发明内容

鉴于上述问题，本申请提出了一种数字人训练数据采集方法、装置、电子设备及存储介质。

第一方面，本申请实施例提供了一种数字人训练数据采集方法，该方法包括：获取台词信息；基于台词信息获取标准人物特征信息；获取当前片段中目标对象的当前人物特征信息；判断当前人物特征信息与标准人物特征信息是否匹配；若当前人物特征信息与标准人物特征信息匹配，则采集当前片段作为数字人训练数据。

进一步地，标准人物特征信息包括标准嘴型信息，当前人物特征信息包括当前嘴型信息，判断当前人物特征信息与标准人物特征信息是否匹配，包括：判断标准嘴型信息和当前嘴型信息是否匹配；若当前人物特征信息与标准人物特征信息匹配，则采集当前片段作为数字人训练数据，包括：若标准嘴型信息和当前嘴型信息匹配，则采集当前片段作为数字人训练数据。

进一步地，标准嘴型信息的数量为多个，若标准嘴型信息和当前嘴型信息匹配，则采集当前片段作为数字人训练数据，包括：获取当前嘴型对应的台词进度，并获取与台词进度对应的台词；基于台词从多个标准嘴型信息中选取出目标标准嘴型信息；判断述目标标准嘴型信息与当前嘴型信息是否匹配；若目标标准嘴型信息与当前嘴型信息匹配，则采集当前片段作为数字人训练数据。

进一步地，若标准嘴型信息和当前嘴型信息匹配，则采集当前片段作为数字人训练数据，包括：获取目标标准嘴型信息对应的第一关键点；获取当前嘴型信息对应的第二关键点；若第一关键点与第二关键点之间的距离小于距离阈值，则确定目标标准嘴型信息与当前嘴型信息匹配，并采集当前片段作为数字人训练数据。

进一步地，第一关键点的数量为多个，第二关键点的数量为多个，多个第一关键点和多个第二关键点一一对应，若第一关键点与第二关键点之间的距离小于距离阈值，则确定目标标准嘴型信息与当前嘴型信息匹配，包括：获取多个第一关键点中每个第一关键点与其对应的第二关键点的距离，得到多个目标距离；获取多个目标距离相加的和，并确定多个目标距离相加的和是否超过预设距离；若多个目标距离相加的和不超过预设距离，则确定第一关键点与第二关键点之间的距离小于距离阈值，并确定目标标准嘴型信息与当前嘴型信息匹配。

进一步地，获取目标标准嘴型信息对应的第一关键点，包括：获取目标标准嘴型信息对应的第一图像，从第一图像中提取出第一关键点；获取当前嘴型信息对应的第二关键点，包括：获取当前嘴型信息对应第二图像，将第二图像的尺寸调节至与第一图像的尺寸一致，得到调节后的第二图像；从调节后的第二图像中提取出第二关键点。