[发明专利]更新业务模型的方法及装置

说明书

本说明书实施例提供一种更新业务模型的方法和装置，在多方安全计算的联邦学习过程中，各个提供样本数据参与计算的业务方分别通过本地样本数据调整本地模型参数，并在调整本地模型参数过程中，基于最优传输理论，在损失确定时增加本地模型参数和其他业务方模型参数在最小传输代价下的距离约束，从而保证本地业务模型的稳定性。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及联邦学习过程中，各个业务方通过计算机更新本地业务模型的方法和装置。

背景技术

计算机技术的发展，使得机器学习在各种各样的业务场景中得到越来越广泛的应用。联邦学习是一种在保护隐私数据情况下进行联合建模的方法。例如，企业与企业之间需要进行合作安全建模，可以进行联邦学习，以便在充分保护企业数据隐私的前提下，使用各方的数据对数据处理模型进行协作训练，从而更准确、有效地处理业务数据。在联邦学习场景中，各方例如可以商定模型结构(或约定模型)后，各自使用隐私数据在本地进行训练，并将模型参数使用安全可信的方法进行聚合，最后各方根据聚合后模型参数改进本地模型。联邦学习实现在隐私保护基础上，有效打破数据孤岛，实现多方联合建模。

常规技术中，联邦学习过程对模型参数的更新通常采用对各个参与方进行平均，或者各个参与方对本地模型参数和全局模型参数的差异进行惩罚。然而，实际的模型训练过程中，情况往往比较复杂，例如，某个参与方长时间断网(掉线)，各个参与方之间的数据概率分布差异较大，等等。因此，在联邦学习过程中，基于对建模各方的数据隐私的保护，如何提供更有效的模型参数更新方式，是当前亟需解决的技术问题。

发明内容

本说明书一个或多个实施例描述了一种更新业务模型的方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供了一种更新业务模型的方法，所述业务模型用于对业务数据进行处理，得到相应的业务处理结果，并由多个业务方在保护隐私前提下共同训练，其中，各个业务方分别通过本地持有的样本数据更新本地业务模型的模型参数并上传至服务方，服务方可以将各个业务方上传的模型参数融合后作为全局模型参数分发给各个业务方，各个业务方以全局模型参数为目标进行本地模型参数调整；所述方法由所述多个业务方中的第一方执行，包括：利用本地业务模型处理本地的第一样本数据，其中，本地业务模型具有前一轮次调整后的本地模型参数；基于本地业务模型的输出结果确定当前损失，所述当前损失包括，本地模型参数与当前的全局模型参数之间的距离损失，所述距离损失用于描述本地模型参数与当前的全局模型参数之间，在最小传输代价下的传输距离；以最小化所述当前损失为目标，调整本地模型参数。

在一个实施方式中，所述方法还包括：将调整后的本地模型参数发送至服务方，以供服务方基于各个业务方发送的本地模型参数，更新全局模型参数以反馈给各个业务方。

在一个实施方式中，所述当前损失还包括，基于本地业务模型的输出结果与所述第一样本数据的样本标签的对比确定的基本损失。

在一个实施方式中，所述最小传输代价通过以下方式确定：基于本地模型参数和全局模型参数确定预定数量的候选转移矩阵，其中，单个候选转移矩阵的元素按行求和结果对应第一参数，元素按列求和结果对应第二参数，所述第一参数和第二参数互不相同且分别为本地模型参数和全局模型参数之一；利用各个候选转移矩阵分别与预先确定的代价矩阵中相应元素按位相乘，得到各个乘积矩阵；根据各个乘积矩阵的最小行列式，确定最小传输代价。

根据一个实施例，所述基于本地业务模型的输出结果确定当前损失还包括：将具有最小传输代价的候选转移矩阵，作为最小代价矩阵；基于所述最小代价矩阵，确定所述距离损失。

在更进一步的实施例中，所述基于所述最小代价矩阵，确定所述距离损失包括：所述距离损失为通过拉格朗日乘数法确定的最小距离，经由第一拉格朗日乘数处理所述最小代价矩阵和本地模型参数之差确定，所述第一拉格朗日乘数基于所述拉格朗日乘数法确定的距离对其梯度为零的约束确定。