[发明专利]一种模型训练方法、装置及设备

说明书

本申请适用于机器学习技术领域，提供了模型训练方法、装置及设备，方法包括：获取参与训练的模型、训练数据集和训练数据集对应的第一任务生效信息；根据目标训练数据集训练模型，得到目标训练数据集在任务上产生的损失；根据目标训练数据集对应的第一任务生效信息和目标训练数据集在任务上产生的损失，更新模型的参数；若未满足预设的当轮训练终止条件，重新选择在下一轮使用的目标训练数据集，迭代训练模型；若已满足预设的当轮训练终止条件但未满足预设的总训练终止条件，获取模型差异数据，根据人工标注后的模型差异数据，重新进行模型的训练。上述方法，能够有效避免冗余标注，降低数据标注成本，并提高多任务模式下的模型训练效果。

技术领域

本申请属于机器学习技术领域，尤其涉及一种模型训练法、装置及设备。

背景技术

现有的模型训练方式通常遵循数据集迭代(包括数据收集-数据标注)至模型迭代(包括模型优化-模型训练-模型评估)的循环流程进行，即，在完成一定的数据收集、数据标注后，基于已标注数据对模型训练优化，在进行一定次数的优化后，可以依据需要对数据集进行迭代，从而进一步提高模型性能。

多任务模式下的模型训练会提取多种任务间的共有特征，基于提取的特征进行不同的任务推断，从而使得训练后的模型能够完成若干个种任务，例如：既可以完成序列标注任务，又可以完成分类任务。

多任务模式下的模型训练是需要大量数据支撑的，然而，目前带有多种标签的开源数据较少，也就是说，在某个任务上的已标注数据不一定具有在其他任务上的标注，因此无法保证模型的训练效果。为了解决上述问题，可以采用伪标注和人工标注的方法进行数据标注，但是，一方面伪标注是存在一定误差的，另一方面人工标注的标注成本过高，再者，也存在为保证数据量而产生冗余标注的情况。故，现有的解决方式是无法提高多任务模式下的模型训练效果的，并且也无法有效降低数据标注成本。

发明内容

本申请实施例提供了一种模型训练方法、装置及设备，可以解决上述问题。

第一方面，本申请实施例提供了一种模型训练方法，包括：获取参与训练的模型、若干个训练数据集以及各个训练数据集对应的第一任务生效信息；其中，参与训练的模型中存在至少一个相同的任务，各个训练数据集中包含已标注数据和/或伪标注数据，训练数据集对应的第一任务生效信息用于判断在模型训练中训练数据集在任务上产生的损失是否反向传播更新模型的参数；选择在当轮模型训练中使用的目标训练数据集，并根据目标训练数据集中的数据训练模型，得到目标训练数据集在任务上产生的损失；根据目标训练数据集对应的第一任务生效信息和目标训练数据集在任务上产生的损失，反向传播更新模型的参数；若未满足预设的当轮训练终止条件，重新选择在下一轮模型训练中使用的目标训练数据集，迭代训练模型；若已满足预设的当轮训练终止条件，判断是否满足预设的总训练终止条件；若否，获取模型差异数据，根据人工标注后的模型差异数据，重新进行模型的训练；其中，模型对模型差异数据的推断结果不同；若是，停止进行模型的训练。

进一步地，该方法还包括：获取目标训练数据集对应的第二任务生效信息；其中，目标训练数据集对应的第二任务生效信息用于判断在当轮模型训练中目标训练数据集在任务上产生的损失是否反向传播更新模型的参数；根据目标训练数据集对应的第一任务生效信息和目标训练数据集在任务上产生的损失，反向传播更新模型的参数，包括：根据目标训练数据集对应的第一任务生效信息、目标训练数据集对应的第二任务生效信息以及目标训练数据集在任务上产生的损失，反向传播更新模型的参数。

进一步地，至少一个目标训练数据集对应的第二任务生效信息指示在当轮模型训练中目标训练数据集在任务上产生的损失用于反向传播更新模型的参数。