[发明专利]基于区块链的异步联邦学习架构系统及方法

说明书

本发明公开了基于区块链的异步联邦学习架构系统及方法，包括区块链模块和多个参与方，区块链模块包括聚合合约单元、评分合约单元和激励合约单元；参与方，用于对区块链模块上的全局模型进行评分和更新，得到相应的评分情况和本地梯度；聚合合约单元，用于根据本地梯度，聚合得到更新后的全局模型；评分合约单元，用于统计多个参与方对于同一个全局模型的评分情况；激励合约单元，用于根据全局模型的评分情况，计算泛化性提升率，并对相应的参与方进行奖惩措施。本发明采用区块链模块，避免了传统联邦学习架构系统的中央服务器带来的可信问题；同时，采用异步联邦学习，使得整体的灵活性和可伸缩性大大提升，一定程度上减少了网络拥塞。

技术领域

本发明涉及基于区块链的异步联邦学习架构系统及方法，属于异步联邦学习技术领域。

背景技术

随着大数据和人工智能等新一代信息技术的快速发展，机器学习已经得到广泛的应用。机器学习需要大量的数据来训练，然而传统的机器学习一般都要求将所有数据集中在一个中央服务器上进行训练。由于数据安全和隐私问题，各个机构或者个人不愿意共享数据，从而造成数据孤岛问题。联邦学习是一种新的机器学习范式，它可以在保证各个机构的数据不出本地的情况下，使得各个机构共同训练一个共享的全局模型，从而在保证隐私的前提下有效解决数据孤岛问题。

但是目前主流的联邦学习架构系统大多是中心式的，即有多个参与客户端和一个中央服务器。中央参数服务器用于收集并聚合所有客户端的模型或者更新。中央参数服务器对于传统的联邦学习非常重要，它拥有所有客户端的模型信息，还可以决定全局模型的更新方向，学习的迭代过程也需要依赖服务进行推进。但是，中心式联邦学习架构系统面临可信性的问题，因为中央参数服务器的所有操作，对于客户端来说是不可见、不透明的，客户端无法验证自己的本地模型是否被服务器正确接收。由于中央服务器容易出现单点故障或不中立(更倾向于某些设备)，这可能会极大地影响设备参与联邦学习的意愿。同时，由于法律、安全、竞争等原因，可能无法选择出令每个客户端都满意的可信第三方作为中央参数服务器。因此，设计一个去中心化的联邦学习架构系统，提高联邦学习的可信性变得非常重要。

基于以上考虑，一些研究人员提出了去中心化的联邦学习架构系统。目前的去中心化的联邦学习架构系统分为两类，一类关注的是去中心化架构系统的时间开销问题，它们虽然摒弃了服务器，但是仍然无法保障可信性；另一类关注的是联邦的可信问题，部分研究者提出了基于P2P的区块链并采用同步联邦学习的设想。但是在基于P2P的区块链架构系统中，如果同时上传更新的设备太多会导致网络拥塞。此外，由于计算能力和电池时间有限，某些设备在同步之前将不再可用，很难在一次训练的结束时间同步所有选定的设备。必须确定一个超时阈值，才能删除掉队者。如果幸存设备的数量太少，可能不得不放弃这次训练，包括所有接收到的更新。整体通讯和计算开销过大。

此外，这些工作都没有公平的定价和激励机制，限制了联邦学习生态的可持续运行。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域普通技术人员所公知的现有技术。

发明内容

本发明的目的在于克服现有技术中的不足，提供基于区块链的异步联邦学习架构系统及方法，一方面通过区块链模块，去除了传统联邦学习架构系统的中央服务器，避免了中央服务器带来的可信问题；另一方面，采用异步联邦学习，使得整体的灵活性和可伸缩性大大提升，一定程度上减少了网络拥塞。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明公开了基于区块链的异步联邦学习架构系统，其特征是，包括区块链模块和多个参与异步联邦学习的参与方，所述区块链模块包括聚合合约单元、评分合约单元和激励合约单元；

所述参与方，用于读取区块链模块上的全局模型；对所述全局模型进行评分和梯度更新，得到相应的评分情况和本地梯度并上传至区块链模块；