[发明专利]一种基于共享数据的模型训练方法及装置

说明书

公开了一种基于共享数据的模型训练方法及装置。该方案用于根据海量数据样本训练数据模型，其中数据样本来源于多个数据提供方，由于不同的数据提供方可以分别从不同的维度提供数据样本特征，因此将各个数据提供方的共享的数据整合后，可以形成特征维度更丰富的数据样本，从而训练出效果更佳的数据模型，同时可以保证数据共享的安全性问题。

技术领域

本说明书实施例涉及数据挖掘技术领域，尤其涉及一种基于共享数据的模型训练方法及装置。

背景技术

在大数据时代，通过对海量数据进行挖掘，可以获得各种形式的有用信息，因此数据的重要性不言而喻。不同的机构都拥有各自的数据，但是任何一家机构的数据挖掘效果，都会受限于其自身拥有的数据数量和种类。针对该问题，一种直接的解决思路是：多家机构相互合作，将数据进行共享，从而实现更好的数据挖掘效果，实现共赢。

然而对于数据拥有方而言，数据本身是一种具有很大价值的资产，而且出于保护隐私、防止泄露等需求，数据拥有方往往并不愿意直接把数据提供出来，这种状况导致“数据共享”在现实中很难实际运作。因此，如何在充分保证数据安全的前提下实现数据共享，已经成为行业内备受关注的问题。

发明内容

针对上述技术问题，本说明书实施例提供一种基于共享数据的模型训练方法及装置，技术方案如下：

根据本说明书实施例的第一方面，提供一种基于共享数据的模型训练方法，数据挖掘方维护全局参数集W^global＝(W¹,W²,…,W^U)，其中W^u(u＝1、2…U)为对应于数据提供方u的自有数据特征X^u的参数集；

所述方法包括：利用以下步骤进行迭代训练，直到满足模型训练要求：

任一数据提供方u从数据挖掘方下载W^u，利用具有特征X^u的本地数据以及下载得到的W^u计算grad^u，并将grad^u上传至数据挖掘方，其中grad^u为模型代价函数J(w)的关于数据特征X^u的梯度值；

数据挖掘方获得各数据提供方u上传的grad^u，利用grad^u以及参数更新公式对W^global进行更新；其中，所述参数更新公式根据J_N(w)确定，J_N(w)为对J(w)添加噪声处理后的模型代价函数，且J_N(w)满足差分隐私定义。

根据本说明书实施例的第二方面，提供一种基于共享数据的模型训练方法，数据挖掘方维护全局参数集W^global＝(W¹,W²,…,W^U)，其中W^u(u＝1、2…U)为对应于数据提供方u的自有数据特征X^u的参数集；

所述方法包括：利用以下步骤进行迭代训练，直到满足模型训练要求：

任一数据提供方u从数据挖掘方下载W^u，利用具有特征X^u的本地数据以及下载得到的W^u计算grad^u；所述grad^u为模型代价函数J(w)的梯度；

将grad^u上传至数据挖掘方，以使得数据挖掘方利用各数据提供方u上传的grad^u以及参数更新公式对W^global进行更新；所述参数更新公式根据J_N(w)确定，J_N(w)为对J(w)添加噪声处理后的模型代价函数，且J_N(w)满足差分隐私定义。