[发明专利]一种基于共享数据的模型训练方法及装置

说明书

公开了一种基于共享数据的模型训练方法及装置。数据挖掘方可以根据多个数据提供方提供的数据进行联合训练，并且在模型训练过程中，具体的参数迭代更新的操作是在数据提供方完成，因此数据提供方并不需要向数据挖掘方提供具体数据、仅需将每次参数更新的结果上传至数据挖掘方。

技术领域

本说明书实施例涉及数据挖掘技术领域，尤其涉及一种基于共享数据的模型训练方法及装置。

背景技术

在大数据时代，通过对海量数据进行挖掘，可以获得各种形式的有用信息，因此数据的重要性不言而喻。不同的机构都拥有各自的数据，但是任何一家机构的数据挖掘效果，都会受限于其自身拥有的数据数量和种类。针对该问题，一种直接的解决思路是：多家机构相互合作，将数据进行共享，从而实现更好的数据挖掘效果，实现共赢。

然而对于数据拥有方而言，数据本身是一种具有很大价值的资产，而且出于保护隐私、防止泄露等需求，数据拥有方往往并不愿意直接把数据提供出来，这种状况导致“数据共享”在现实中很难实际运作。因此，如何在充分保证数据安全的前提下实现数据共享，已经成为行业内备受关注的问题。

发明内容

针对上述技术问题，本说明书实施例提供一种基于共享数据的模型训练方法及装置，技术方案如下：

根据本说明书实施例的第一方面，提供一种基于共享数据的模型训练方法，数据挖掘方以及至少1个数据提供方分别维护针对训练样本数据特征集的模型参数，其中：

数据挖掘方维护公用参数集W^global；每个数据提供方u分别维护自有参数集W^u；

所述方法包括：利用以下步骤进行迭代训练，直到满足模型训练要求：

数据提供方u从数据挖掘方下载公用参数，利用下载结果替换本地维护的自有参数集W^u；

利用本地数据以及模型参数更新算法，对替换后得到的自有参数集W^u进行更新；

将更新结果上传至数据挖掘方，使得数据挖掘方利用数据提供方上传的更新结果更新公用参数集W^global。

根据本说明书实施例的第二方面，提供一种基于共享数据的模型训练装置，数据挖掘方以及至少1个数据提供方分别维护针对训练样本数据特征集的模型参数，其中：

数据挖掘方维护公用参数集W^global；每个数据提供方u分别维护自有参数集W^u,；

所述装置包括以下用于实现迭代训练的模块：

公用参数下载模块，用于数据提供方u从数据挖掘方下载公用参数，利用下载结果替换本地维护的自有参数集W^u；

自有参数更新模块，用于利用本地数据以及模型参数更新算法，对替换后得到的自有参数集W^u进行更新；

更新结果上传模块，用于将更新结果上传至数据挖掘方，使得数据挖掘方利用数据提供方上传的更新结果更新公用参数集W^global。

根据本说明书实施例的第三方面，提供包括数据挖掘方装置以及至少1个数据提供方装置；

数据挖掘方装置和数据提供方装置分别维护针对训练样本数据特征集的模型参数，其中：

数据挖掘方维护公用参数集W^global；每个数据提供方u分别维护自有参数集W^u；

所述数据提供方装置包括以下用于实现迭代训练的模块：