[发明专利]一种联合模型训练方法、装置及系统

说明书

本公开涉及机器学习技术领域，提供了一种联合模型训练方法、装置及系统。该方法包括：获取服务平台下发的联合模型和联合任务招标信息；使用预设的训练数据训练联合模型，获得每一训练数据的输出结果，计算每一训练数据的输出结果与其标签值之间的损失值；根据损失值、强关联样本采样率、损失阈值，从训练数据中筛选出目标数据；根据目标数据的损失值确定总期望激励值，向服务平台发送投标申请；当接收到中标通知信息时，使用目标数据对联合模型进行训练，获得迭代联合模型并反馈模型参数。本公开能够很好地鼓励参与方从其训练数据筛选出与联合学习任务相关的数据集用于联合训练，不仅提高了模型训练的效率，还提升了训练所获得的模型的性能。

技术领域

本公开涉及机器学习技术领域，尤其涉及一种联合模型训练方法、装置及系统。

背景技术

在横向联合学习(联邦学习)中，训练数据与联合学习任务(与参与方想要获得的模型的性能或者所要解决的业务问题相关)的相关性是决定联合训练得到的应用模型的性能的关键因素。一般地，训练数据与联合学习任务的相关性越高，那么联合训练得到的应用模型的性能则越好，该应用模型与参与方所要解决的业务问题越贴合，即越贴合参与方的需求。此外，使用与联合学习任务的相关性不高或者效用较低的训练数据进行训练，容易导致模型训练效率降低(如训练收敛慢、训练轮数增加等)，从而导致耗费更多的资源。

但是，通常大多数参与方是不具备联合学习相关的专业知识的，故他们无法知晓哪些训练数据与联合学习任务相关性更高；且由于在模型训练过程中存在信息不对称等问题，所以更难筛选出与联合学习任务相关的数据集，因此，难以提高模型训练的效率，且最终获得的模型的性能也较差。

发明内容

有鉴于此，本公开实施例提供了一种联合模型训练方法、装置及系统，以解决现有技术中参与方由于不具备专业知识或者在模型训练过程中存在的信息不对称等原因而导致难以筛选出与联合学习任务相关的数据集用于联合训练，从而导致模型训练的效率低且训练所获得的模型的性能较差的问题。

本公开实施例的第一方面，提供了一种联合模型训练方方法，应用于投标参与方，包括：

获取服务平台下发的联合模型和联合任务招标信息，联合任务招标信息包括联合任务、强关联样本采样率、损失阈值以及每轮次所需样本数量；

使用预设的训练数据训练联合模型，获得每一训练数据的输出结果，训练数据携带有标签值，计算每一训练数据的输出结果与其标签值之间的损失值；

根据损失值、强关联样本采样率、损失阈值，从训练数据中筛选出目标数据，目标数据包括与联合任务的关联度大的强关联数据，以及与联合任务的关联度小的弱关联数据，目标数据的数量不小于每轮次所需样本数量；

根据目标数据的损失值确定总期望激励值，向服务平台发送投标申请，投标申请包括期望激励值；

当接收到服务平台发送的中标通知信息时，使用目标数据对联合模型进行训练，以获得迭代联合模型；

向服务平台反馈迭代联合模型的迭代模型参数，以获得激励值。

本公开实施例的第二方面，提供了一种联合模型训练方法，应用于服务平台，包括：

获取任务需求信息，任务需求信息包括模型需求和业务需求；

确定符合业务需求的投标参与方；

向投标参与方下发与模型需求对应的联合模型，以及联合任务招标信息，联合任务招标信息包括联合任务、强关联样本采样率、损失阈值以及每轮次所需样本数量，以供投标参与方根据联合模型和联合任务招标信息从其预设的训练数据中筛选出目标数据，并确定总激励值；

当接收到投标参与方反馈的总期望激励值符合预设的激励值范围时，向投标参与方发送中标通知信息，以使投标参与方使用目标数据对联合模型进行训练，获得迭代联合模型；