[发明专利]一种适用于异构网络的通用联邦学习实现方法

权利要求书

1.一种适用于异构网络的通用联邦学习实现方法，其特征在于：包括以下步骤：

S1、对子节点的资源描述和数据描述进行建档；

S2、中央节点向其他异构异步子节点分配基本联邦学习任务，并给每个子节点设定执行任务的截止时间；

S3、子节点进行自适应训练，并将更新信息一并发送至中央节点；

S4、中央节点使用全局优化器对上传的更新信息进行加权聚合，得到新一轮的全局模型参数。

2.根据权利要求1所述的适用于异构网络的通用联邦学习实现方法，其特征在于：S1中对子节点的资源描述和数据描述进行建档，包括：

资源描述建档，即对当前时钟下可用计算资源以及网络状态进行建档；数据描述建档，即对本地数据的来源、标签、结构元数据进行存储和建档；

其中，所述数据描述包括两个方面：

数据使用记录，本地数据在某些情况下可能会多次参与训练，或者仅有一次，将影响子节点的局部模型参数更新误差；

数据属性描述，子节点需要对本地数据关于更细粒度的属性进行充分描述，以便在训练时快速进行数据筛选。

3.根据权利要求1所述的适用于异构网络的通用联邦学习实现方法，其特征在于：S2中中央节点向异构异步的子节点分配基本联邦学习任务，并针对每个子节点给出执行任务的截止时间，包括：

中央节点设置一个基本联邦学习任务，连同初始全局模型参数下发给每个子节点，同时考虑到系统的高异步性，中央节点针对每个子节点给出执行任务的截止时间，并通过向每个子节点发送确认时间来排除异常节点。

4.根据权利要求3所述的适用于异构网络的通用联邦学习实现方法，其特征在于：所述中央节点设置的下发内容在系统通信负载范围内，同时中央节点通过截止时间机制对每个子节点的网络状态进行监控。

5.根据权利要求1所述的适用于异构网络的通用联邦学习实现方法，其特征在于：S3中子节点进行自适应训练，并将更新信息一并发送至中央节点，包括：

子节点根据训练任务需求，以及初始全局模型参数在本地筛选符合要求的样本数据；

子节点根据本地可用计算资源，合理安排本地迭代的样本数量和次数，以及适合的隐私保护策略，得到更新的局部模型参数；

子节点将更新的局部模型参数、参与迭代的样本信息和迭代超参、采取的隐私保护策略一并发送至中央节点。

6.根据权利要求5所述的适用于异构网络的通用联邦学习实现方法，其特征在于：所述子节点根据本地可用计算资源，合理安排本地迭代的样本数量和次数，以及适合的隐私保护策略，包括：

在本地可用计算资源极其稀缺的情况下，仅选取少量样本，不采取任何隐私保护策略直接传输更新信息；

在本地可用计算资源宽裕的情况下，采用差分隐私策略，并在本地每次迭代结束时将更新信息一并发送至中央节点；

在本地网络状态不畅的情况下，对更新信息进行压缩以降低通信开销。

7.根据权利要求5或6所述的适用于异构网络的通用联邦学习实现方法，其特征在于：S3中子节点进行自适应训练之前，包括：

中央调度器根据训练任务需求针对每个子节点进行计算资源、数据资源的调度，并调节每个子节点与中央节点之间的传输数据量和通信频率。

8.根据权利要求1所述的适用于异构网络的通用联邦学习实现方法，其特征在于：S4中中央节点使用全局优化器对上传的更新信息进行加权聚合，得到新一轮的全局模型参数，包括：

全局模型根据每个子节点上传的更新的局部模型参数、训练样本情况和采取的隐私保护策略，通过全局优化器进行加权聚合，得到新一轮的全局模型参数。