[发明专利]一种基于可选隐私数据进行模型训练的方法及系统

说明书

本说明书一个或多个实施例涉及一种基于可选隐私数据进行模型训练的方法及系统，该方法包括：接收至少来自第一终端和第二终端的第一类数据；并基于接收到的第一类数据及其对应的模型参数计算第一类累计数据；通过多方安全计算的方式获取累计损失值；累计损失值至少由第一终端和第二终端基于所述第一类累计数据、自身的第二类数据以及样本标签确定；将累计损失值参与第一类累计梯度和第二类累计梯度的计算，第一类累计梯度和第二类累计梯度用于更新至少基于第一终端和第二终端的模型的联合训练模型的参数；第一终端和第二终端分别持有第一训练数据和第二训练数据，第一训练数据和所述第二训练数据包括对应不同隐私等级的第一类数据和第二类数据。

技术领域

本说明书一个或多个实施例涉及多方数据合作，特别涉及一种基于可选隐私数据进行模型训练的方法和系统。

背景技术

在数据分析、数据挖掘、经济预测等领域，机器学习模型可被用来分析、发现潜在的数据价值。由于单个数据拥有方持有的数据可能是不完整的，由此难以准确地刻画目标，为了得到更好的模型预测结果，通过多个数据拥有方的数据合作，来进行模型的联合训练的方式得到了广泛的使用。但是在多方数据合作的过程中，涉及到数据安全和模型安全等问题。

因此，有必要提出一种安全的基于多方数据进行联合建模的方案。

发明内容

本说明书实施例的一个方面提供一种基于可选隐私数据进行模型训练的方法；所述方法包括：第三方接收至少来自第一终端和第二终端的第一类数据；并基于接收到的第一类数据及其对应的模型参数计算第一类累计数据；第三方通过多方安全计算的方式获取累计损失值；所述累计损失值至少由第一终端和第二终端基于所述第一类累计数据、自身的第二类数据以及样本标签确定；第三方将所述累计损失值参与第一类累计梯度和第二类累计梯度的计算，所述第一类累计梯度和第二类累计梯度用于更新至少基于所述第一终端和第二终端的模型的联合训练模型的参数；其中，第一终端和第二终端分别持有第一训练数据和第二训练数据，所述第一训练数据和所述第二训练数据对应不同样本的相同特征；所述第一训练数据和所述第二训练数据中至少一个包括对应不同隐私等级的第一类数据和第二类数据；所述第一类数据和第二类数据对应于相同的训练样本。

本说明书实施例的另一个方面提供一种基于可选隐私数据进行模型训练的系统；所述系统包括：第一类数据接收模块，用于接收至少来自第一终端和第二终端的第一类数据；第一类累计数据确定模块，用于基于接收到的第一类数据及其对应的模型参数计算第一类累计数据；累计损失值确定模块，用于通过多方安全计算的方式获取累计损失值；所述累计损失值至少由第一终端和第二终端基于所述第一类累计数据、自身的第二类数据以及样本标签确定；模型参数更新模块，用于将所述累计损失值参与第一类累计梯度和第二类累计梯度的计算，所述第一类累计梯度和第二类累计梯度用于更新至少基于所述第一终端和第二终端的模型的联合训练模型的参数；其中，第一终端和第二终端分别持有第一训练数据和第二训练数据，所述第一训练数据和所述第二训练数据对应不同样本的相同特征；所述第一训练数据和所述第二训练数据中至少一个包括对应不同隐私等级的第一类数据和第二类数据；所述第一类数据和第二类数据对应于相同的训练样本。

本说明书实施例的另一个方面提供一种基于可选隐私数据进行模型训练的装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述处理器用于执行所述指令，以实现所述基于可选隐私数据进行模型训练方法对应的操作。

本说明书实施例的另一方面提供一种基于可选隐私数据进行模型训练的方法；所述方法包括：第一终端将第一类数据传输给第三方；第一终端接收来自第三方的第一类累计数据以及第二类模型参数；第一终端基于自身的训练数据以及样本标签计算第一损失值；第一终端通过多方安全计算的方式将所述第一损失值参与至少基于所述第一终端和第二终端的模型的联合训练，得到参数更新的模型；其中，第一终端的训练数据包括对应不同隐私等级的第一类数据和第二类数据；所述第一类数据和第二类数据对应不同样本的相同特征。