[发明专利]一种协同训练方法、装置及计算机可读存储介质

说明书

本发明提供了一种协同训练方法、装置、系统及计算机可读存储介质，该方法包括：利用训练数据集分别对多个任务进行预训练，得到多个任务模型；基于多个任务模型迭代进行协同训练，其中，在每次迭代中，获取至少一个任务模型针对样本的输出结果，将至少一个输出结果和样本对应于指定任务的特征值一并输入指定任务模型以进行协同训练。利用上述方法，采用多任务协同建模，能够互相提升模型效果，且任务之间可以互相补充模型特征，降低了训练成本。

技术领域

本发明属于模型训练领域，具体涉及一种协同训练方法、装置及计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

机器学习在工业界具有非常优越的性能。但是相当多的模型依赖于数据集的标签。例如当判断一张照片是否为“猫”时，我们不得不事先准备大量的已经打好标签的图片，喂给分类模型进行学习，这样导致往往模型的训练具有非常高的数据标注成本。

因此，如何提高任务模型的识别效果且提高训练效率、降低训练成本是一个亟待解决的问题。

发明内容

针对上述现有技术中存在的问题，提出了一种协同训练方法、装置及计算机可读存储介质，利用这种方法、装置及计算机可读存储介质，能够解决上述问题。

本发明提供了以下方案。

第一方面，提供一种协同训练方法，包括：利用训练数据集分别对多个任务进行预训练，得到多个任务模型；基于多个任务模型迭代进行协同训练，其中，在每次迭代中，获取至少一个任务模型针对样本的输出结果，将至少一个输出结果和样本对应于指定任务的特征值一并输入指定任务模型以进行协同训练。

在一种实施方式中，协同训练为半监督训练。

在一种实施方式中，预训练还包括：获取T个任务对应的T个训练数据集，其中，任务k对应的训练数据集至少包括样本i的特征向量x_ki；将每个任务对应于各个样本的特征向量和指定数量的空特征和/或随机特征进行矢量组合，以创建每个任务对应于各个样本的第一组合特征，空特征和/或随机特征为第一组合特征的附加特征的初始值；基于第一组合特征对T个任务进行预训练，得到T个任务模型；其中，k为任务标识，取值为1至T之间的整数，i为样本标识，取值为1至d_k之间的整数，d_k为任务k的样本个数，相同的样本标识指示相同的样本对象。

在一种实施方式中，指定数量根据每个任务有关联的其他任务的数量而确定；或者，指定数量为T-1。

在一种实施方式中，任务k对应的训练数据集包括特征向量及其标签。

在一种实施方式中，协同训练还包括迭代执行以下步骤：获取每个任务对应于样本i的第一组合特征，第一组合特征包括特征向量和附加特征；以及，将每个任务对应于样本i的第一组合特征分别输入对应的任务模型中，得到每个任务对应于样本i的输出结果；根据指定任务以外的一个或多个其他任务对应于样本i的输出结果对指定任务对应于样本i的第一组合特征的附加特征进行更新，得到指定任务对应于样本i的第二组合特征；将指定任务对应于样本i的第二组合特征输入指定任务模型，以进行协同训练。

在一种实施方式中，在每次迭代之后，还包括：根据指定任务对应于样本i的第二组合特征对第一组合特征进行迭代更新。

在一种实施方式中，得到指定任务对应于样本i的第二组合特征之后，还包括：获取对应于第二组合特征中的每个附加特征的权重系数；基于权重系数对第二组合特征中的每个附加特征进行加权，得到指定任务对应于样本i的第三组合特征；根据指定任务对应于样本i的第三组合特征对指定任务模型进行训练。