[发明专利]模型训练方法和装置、业务预测方法和装置

说明书

本说明书实施例提供了基于联邦机器学习的模型训练方法、业务预测方法以及装置。该方法中包括：利用本地的私有数据训练公有模型；将该公有模型上传给服务器；接收服务器下发的全局模型；该全局模型由服务器根据至少两个参与方上传的公有模型聚合得到；利用全局模型更新本地的公有模型；利用本地的私有数据以及更新后的公有模型，训练私有模型。本说明书实施例的方法及装置能够更好地适用于参与方的本地业务。

技术领域

本说明书一个或多个实施例涉及计算机技术，尤其涉及基于联邦机器学习的私有模型训练方法和装置、业务预测方法和装置。

背景技术

联邦机器学习是一个具有隐私保护效果的分布式机器学习框架，能有效帮助多个参与方在满足隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦机器学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，实现智能协作，共同训练一个性能较好的全局模型。

然而目前，在基于联邦机器学习进行建模时，未考虑各个参与方之间的数据异构的问题，导致建立的模型无法更好地适用于参与方的本地业务。

发明内容

本说明书一个或多个实施例描述了基于联邦机器学习的私有模型训练方法和装置、业务预测方法和装置，能够更好地适用于参与方的本地业务。

根据第一方面，提供了一种基于联邦机器学习的模型训练方法，包括：

利用本地的私有数据训练公有模型；

将该公有模型上传给服务器；

接收服务器下发的全局模型；该全局模型由服务器根据至少两个参与方上传的公有模型聚合得到；

利用全局模型更新本地的公有模型；

利用本地的私有数据以及更新后的公有模型，训练私有模型。

其中，

所述接收服务器下发的全局模型包括：在对全局模型的每一轮迭代训练中，接收服务器下发的本轮全局模型，直至全局模型收敛；

所述利用全局模型更新本地的公有模型，包括：在接收到的全局模型未收敛时，利用本地的私有数据以及接收到的上一轮全局模型进行训练，得到本轮更新后的公有模型，将本轮更新后的公有模型上传给服务器；在接收到的全局模型收敛时，将该收敛的全局模型作为更新后的公有模型；

所述利用本地的私有数据以及更新后的公有模型训练私有模型，包括：在对私有模型的每一轮的迭代训练中，利用本地的私有数据以及最新更新后的公有模型，训练私有模型，直至该私有模型收敛。

其中，所述利用本地的私有数据以及更新后的公有模型训练私有模型，包括：利用本地的私有数据，对更新后的公有模型进行知识蒸馏，以训练私有模型。

其中，所述私有模型的训练过程包括：

利用具有第一权重值的第一损失函数以及具有第二权重值的第二损失函数训练所述私有模型；

通过调整第一权重值和/或第二权重值，控制所述私有模型的训练方向；

其中，

所述第一损失函数表征：利用第一输出与第二输出计算KL散度(Kullback–Leibler divergence)；其中，第一输出是将第一本地私有数据输入最新更新后的公有模型后得到的；第二输出是将第一本地私有数据输入当前训练的私有模型后得到的；

所述第二损失函数表征：利用第二本地私有数据及对该第二本地私有数据的标签，计算交叉熵损失。

其中，所述通过调整第一权重值和/或第二权重值控制所述私有模型的训练方向，包括：