[发明专利]基于联邦学习的数据共享系统、方法、介质及设备

说明书

本发明提供了一种基于联邦学习的数据共享系统、方法、介质及设备，包括：数据平台：收集企业数据并整理为数据集，在联合运算过程中提供算力，对本地数据进行本地运算，根据训练定义对管辖的数据进行加密，并保存和维护训练完成的模型参数和模型文件；联邦工作站：管理模型训练历史、多方协作记录和数据集增补修改历史；联邦中心：发布各企业提供的数据集以及信息，接收和处理来自不同企业的联合运算请求，在联合运算过程中作为可信第三方参与运算。本发明采用横向联邦学习技术，解决了数据不出本地完成多方协同运算的问题，在实现企业数据资产降本增效的同时，保证了企业数据安全。

技术领域

本发明涉及区块链技术领域，具体地，涉及一种基于联邦学习的数据共享系统、方法、介质及设备。

背景技术

企业之间的机器学习模型训练，随着模型结构的复杂度和深度的提高，需要大量的训练数据。这些数据可能包括用户隐私、企业机密，以及来自不适合公开披露的数据源的数据等，因此，尽管不同企业的业务目标相对接近，但是共享数据进行模型训练很难实现。本方法结合联邦学习技术和区块链技术，允许多个参与方“数据不出本地”的进行联合运算，实现跨企业数据协同。

专利文献CN112714050A(申请号：CN202011525604.X)公开了一种基于区块链和联邦学习的数据共享与隐私保护方法，涉及数据安全技术领域，其包括：在同一用户的智能家居场景下，建立设备区块链来管理智能设备的权限，并在多个智能设备之间建立共识机制；在不同用户的智能家居场景下，建立共享区块链来接收上传数据，并管理数据的所有权，随后利用智能合约，实现企业对用户数据的共享交易；完成交易后，企业根据自身业务需求与共享区块链上的用户数据进行联邦学习，进而预测得到服务模型，并存储于模型区块链一，在用户想要获得服务时，在模型区块链一上申请关联服务模型，随后将关联数据作为关联服务模型的输入，得到推荐结果。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于联邦学习的数据共享系统、方法、介质及设备。

根据本发明提供的基于联邦学习的数据共享系统，包括：

数据平台：收集企业数据并整理为数据集，在联合运算过程中提供算力，对本地数据进行本地运算，根据训练定义对管辖的数据进行加密，并保存和维护训练完成的模型参数和模型文件；

联邦工作站：管理模型训练历史、多方协作记录和数据集增补修改历史；

联邦中心：发布各企业提供的数据集以及信息，接收和处理来自不同企业的联合运算请求，在联合运算过程中作为可信第三方参与运算。

优选的，所述数据平台维护和披露数据集属性，包括统计信息和数据来源说明。

优选的，所述联邦工作站抓取和监控多方训练过程中，企业之间互相通信、企业和联邦中心通信时发送的数据。

优选的，所述联邦工作站对数据和模型的变更记录、训练记录，以及联合计算过程中的出口数据进行存证。

优选的，所述联邦中心监控运算过程，提供训练监控面板。

根据本发明提供的基于联邦学习的数据共享方法，包括如下步骤：

步骤1：企业之间通过联邦中心浏览和筛选对方披露的数据集，确定联合运算的算法后发起联合训练请求，在都接受训练请求后本地联邦工作站发起本地训练；

步骤2：联邦工作站从本地数据平台拉取训练数据进行本地计算后，根据联合训练的相关参数，采用不同的加密手段对生成的中间结果或最终结果进行加密；

步骤3：参与训练的企业进行通讯，汇总运算结果；

步骤4：对数据和训练信息进行区块链存证。

优选的，所述训练信息包括：数据集更新信息、模型文件版本信息、训练历史和训练过程中发送出的加密数据。