[发明专利]一种用于分布式模型训练的目标数据方筛选方法及系统

说明书

本说明书一个或多个实施例涉及一种用于分布式模型训练的目标数据方筛选方法和系统，所述方法包括：从任务方获取训练任务信息；所述训练任务信息包括待预训练模型信息以及待训练目标模型信息；接收来自至少一个数据方的接受任务指示，得到备选数据方集合；将所述待预训练模型信息下发给所述备选数据方集合中的各数据方；获取所述各数据方的预训练模型；其中，所述各数据方的预训练模型是基于自身持有的训练样本以及所述待预训练模型信息进行模型训练得到的；获取各预训练模型的性能指标参数；至少基于各预训练模型的性能指标参数，从备选数据方集合中确定一个或多个目标数据方；将所述待训练目标模型信息下发给各目标数据方。

技术领域

本说明书一个或多个实施例涉及多方模型训练，特别涉及一种用于分布式模型训练的目标数据方筛选方法及系统。

背景技术

在数据分析、数据挖掘、经济预测等领域，分布式模型训练可以在保证多方数据安全的情况下，协同训练机器学习模型供多方共同使用的场景。在分布式模型训练中，希望多个数据方所持有的训练数据更适于目标模型训练。另外，在一些应用场景中，没有数据的一方（或称为任务方）期望能通过除数据共享以外的利益分配方式参与分布式模型训练从而获得满足自身业务需要的目标模型，拥有数据的一方也期望获得除数据共享的额外收益。

因此，有必要提出一种用于分布式模型训练的目标数据方筛选方法以筛选出与训练任务更适配的数据方进行模型训练。

发明内容

本说明书一个方面提供一种用于分布式模型训练的目标数据方筛选方法，其中，目标数据方将参与分布式模型训练以获得目标模型，所述方法包括：从任务方获取训练任务信息；所述训练任务信息包括待预训练模型信息以及待训练目标模型信息；接收来自多个数据方中的至少一个数据方的接受任务指示，得到备选数据方集合，其中，备选数据方集合中包括发出接受任务指示的数据方；将所述待预训练模型信息下发给所述备选数据方集合中的各数据方；获取所述各数据方的预训练模型；其中，所述各数据方的预训练模型是各数据方基于自身持有的训练样本以及所述待预训练模型信息进行模型训练得到的；获取各预训练模型的性能指标参数；至少基于各预训练模型的性能指标参数，从备选数据方集合中确定一个或多个目标数据方；将所述待训练目标模型信息下发给各目标数据方，以便与各目标数据方协同训练得到目标模型。

本说明书另一个方面提供一种用于分布式模型训练的目标数据方筛选的系统，所述系统由参与方中的服务端实现，其中参与方包括多个数据方、任务方以及服务端，所述系统包括：训练任务信息获取模块：用于从任务方获取训练任务信息；所述训练任务信息包括待预训练模型信息以及待训练目标模型信息；备选数据方集合确定模块：用于接收来自所述多个数据方中的至少一个数据方的接受任务指示，得到备选数据方集合，其中，备选数据方集合中包括发出接受任务指示的数据方；待预训练模型信息下发模块：用于将所述待预训练模型信息下发给所述备选数据方集合中的各数据方；预训练模型获取模块：用于获取所述各数据方的预训练模型；其中，所述各数据方的预训练模型是各数据方基于自身持有的训练样本以及所述待预训练模型信息进行模型训练得到的；性能指标参数获取模块：用于获取各预训练模型的性能指标参数；目标数据方确定模块：用于至少基于各预训练模型的性能指标参数，从备选数据方集合中确定一个或多个目标数据方；目标模型协同训练模块：用于将所述待训练目标模型信息下发给各目标数据方，以便与各目标数据方协同训练得到目标模型。

本说明书另一个方面提供一种用于分布式模型训练的目标数据方筛选的装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述处理器用于执行所述指令，以实现所述用于分布式模型训练的目标数据方筛选的方法。

附图说明

本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1为根据本说明书的一些实施例所示的用于分布式模型训练的目标数据方筛选方法的示例性应用场景图；