[发明专利]一种适用于异构网络的通用联邦学习实现方法

说明书

本发明涉及联邦学习，具体涉及一种适用于异构网络的通用联邦学习实现方法，对子节点的资源描述和数据描述进行建档；中央节点向其他异构异步子节点分配基本联邦学习任务，并给每个子节点设定执行任务的截止时间；子节点进行自适应训练，并将更新信息一并发送至中央节点；中央节点使用全局优化器对上传的更新信息进行加权聚合，得到新一轮的全局模型参数；本发明提供的技术方案能够有效克服现有联邦学习算法难以在弱节点、异构网络环境下落地的缺陷。

技术领域

本发明涉及联邦学习，具体涉及一种适用于异构网络的通用联邦学习实现方法。

背景技术

数据驱动的人工智能随着深度学习的广泛应用成为当今大数据信息时代的支柱技术，渐渐深入社会生活的方方面面。然而数据孤岛的存在阻碍了这种技术向敏感领域继续深入，如金融、医疗领域，以及一些涉及企业级商用数据的领域。联邦学习作为一种考虑隐私的分布式训练方案，近年来得到了学术界和工业界的广泛关注，当前已有一些企业级的落地应用可以支持数据中心的联邦学习训练任务。

然而，现有的联邦学习方法在计算资源和通信资源受限的移动端，以及更广泛意义上的异构节点存在严重的技术瓶颈：

现有的隐私保护技术，如安全多方计算、差分隐私等往往需要巨大的计算资源，并且一般的联邦学习方法需要较为频繁的参数交换过程，也给弱算力和通信资源的节点带来了难以承受的通信开销，这些因素使得现有联邦学习算法无法在移动端得到很好的应用；

现有的联邦学习方法，尤其是横向的联邦学习方法，往往只针对同构节点，即计算资源、网络资源类似的节点，每个节点采用相同的隐私保护策略和训练策略，这忽略了现实中有训练需求的节点在硬件资源方面往往是异构的情况，限制了联邦学习的应用前景。

发明内容

(一)解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种适用于异构网络的通用联邦学习实现方法，能够有效克服现有联邦学习算法难以在弱节点、异构网络环境下落地的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种适用于异构网络的通用联邦学习实现方法，包括以下步骤：

S1、对子节点的资源描述和数据描述进行建档；

S2、中央节点向其他异构异步子节点分配基本联邦学习任务，并给每个子节点设定执行任务的截止时间；

S3、子节点进行自适应训练，并将更新信息一并发送至中央节点；

S4、中央节点使用全局优化器对上传的更新信息进行加权聚合，得到新一轮的全局模型参数。

优选地，S1中对子节点的资源描述和数据描述进行建档，包括：

资源描述建档，即对当前时钟下可用计算资源以及网络状态进行建档；数据描述建档，即对本地数据的来源、标签、结构元数据进行存储和建档；

其中，所述数据描述包括两个方面：

数据使用记录，本地数据在某些情况下可能会多次参与训练，或者仅有一次，将影响子节点的局部模型参数更新误差；

数据属性描述，子节点需要对本地数据关于更细粒度的属性进行充分描述，以便在训练时快速进行数据筛选。

优选地，S2中中央节点向异构异步的子节点分配基本联邦学习任务，并针对每个子节点给出执行任务的截止时间，包括：

中央节点设置一个基本联邦学习任务，连同初始全局模型参数下发给每个子节点，同时考虑到系统的高异步性，中央节点针对每个子节点给出执行任务的截止时间，并通过向每个子节点发送确认时间来排除异常节点。