[发明专利]一种基于参数服务器的联邦学习系统

说明书

本发明公开了一种基于参数服务器的联邦学习系统，包括：页面交互模块、业务逻辑模块、系统支撑模块、数据存储模块；本发明的优点在于：具备有良好的可视化操作界面，对现有联邦学习框架进行二次封装，以一种简明的方式为联邦学习合作者提供联邦学习模型训练服务，将为联邦学习合作者提供一个渠道去相互连接，从而达到推动联邦学习生态圈发展的目的。

技术领域

本发明涉及一种联邦学习系统，具体地说是一种基于参数服务器的联邦学习系统，属于联邦学习系统领域。

背景技术

在进入21世纪，伴随着算法提升以及大数据的出现，人工智能又进入了一个新的发展热潮期，尤其AlphaGo的出现和成功，让人们人工智能的潜力有了更深刻的认识，人们对其在金融、医疗等领域一展拳脚有着很大憧憬。但AlphaGo的成功不仅仅在于它的算法和算力，更在于它有着庞大数据量的支撑。

如今除了有限的几个领域，更多的领域存在着数据有限且质量较差的问题，同时数据源之间存在着壁垒，在很多情况下人工智能需要涉及多个领域内的知识，但在大多数行业中，数据都是以孤岛形式存在的，由于行业竞争、隐私安全、手续复杂等问题，即便在同一个公司内的不同部门之间也存在着数据孤岛现象。

另一方面，随着大数据技术的进步，人们变得越来越重视数据隐私安全，同时也对人工智能的传统的数据处理模式产生了很大的挑战。

在这种情况下，联邦学习概念出现了。联邦学习（Federated Learning/Federatedmachine learning），又名联邦机器学习、联合学习、联盟学习，它是一个机器学习框架能够有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。

联邦学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，在技术上打破数据孤岛，实现AI协作。在联邦学习定义的机器学习框架下通过设计虚拟模型解决不同数据拥有方在不交换数据的情况下进行协作的问题。虚拟模型是各方将数据聚合在一起的最优模型，各自区域依据模型为本地目标服务。在建模过程中，数据不会发生转移，因此不会泄露用户隐私或影响数据范式，合法合规。

目前业界中主要的联邦学习开源框架有FATE，PaddleFL，TensorFlow Federated，Pysyft等。

2019年2月，微众银行开源FATE开源项目，截止2020年12月发布FATEV1.4版本，覆盖横向联邦学习，纵向联邦学习，联邦迁移学习，得到了社区内广泛的关注与应用。同时，FATE提供20多个联邦学习算法组件，涵盖LR，GBDT，DNN等主流算法，覆盖常规商业应用场景建模需求。尤其值得注意的是，FATE提供了一站式联邦模型服务解决方案，涵盖联邦特征工程，联邦机器学习模型训练，联邦模型评估，联邦在线推理，相比其他开源框架，在工业应用上有显著的优势。

2019年11月，百度宣布开源其联邦学习框架 PaddleFL。PaddleFL开源框架中包含了DiffieHellman等安全算子，及LR等机器学习算法。由于其开源时间较短，算子丰富程度逊于上述三个框架。PaddleFL的优势在于通过与百度机器学习开源框架PaddlePaddle的交互，吸引相关生态开发者加入开发。

OpenMinded 开源的Pysyft框架，较好地支持横向联邦学习。该框架同时支持Tensorflow，Keras，Pytorch，为使用人员快速上手提供了较多的选择。Pysyft提供了安全加密算子，数值运算算子，及联邦学习算法，用户也可以高效搭建自己的联邦学习算法。相比较FATE，OpenMinded尚未提供高效的部署方案及serving端解决方案，相比工业应用，更适合作为高效的学术研究、原型开发的工具。