[发明专利]联邦学习系统设备节点选择的方法及装置

权利要求书

1.一种联邦学习系统设备节点选择的方法，其特征在于，包括：

基于联邦学习系统的设备层中各设备节点的系统能耗和各设备节点输出结果的正确率，确定联邦学习系统的奖励函数；

以联邦学习系统的奖励函数的累计值最大化为目标，确定设备层中各设备节点的选择方案，其中包括各设备节点的选择状态；

其中，所述联邦学习系统的设备层中各设备节点的系统能耗包括设备训练能耗和网络输导能耗，所述设备节点输出结果的正确率是设备节点预测正确的输出结果个数占所有训练样本个数的比例。

2.根据权利要求1所述的联邦学习系统设备节点选择的方法，其特征在于，所述基于联邦学习系统模型的设备层中各设备节点的系统能耗和各设备节点输出结果的正确率，确定联邦学习系统的奖励函数，包括：

基于马尔科夫决策过程，确定联邦学习系统的系统状态S，动作空间A，决策P以及奖励函数R；

其中，所述系统状态S由联邦学习系统的设备层中各设备与网络层的基站之间的传输速率，各设备节点的设备训练能耗，各设备节点的网络输导能耗及设备节点的选择状态组成；

所述动作空间A表示设备层各设备节点的选择状态；

所述决策P表示一个由状态空间到动作空间的映射；

所述奖励函数R包括设备层中各设备节点的系统能耗和各设备节点输出结果的正确率。

3.根据权利要求2所述的联邦学习系统设备节点选择的方法，其特征在于，所述系统状态S的公式为：

其中，r_d表示联邦学习系统中网络层与设备节点间的传输速率，为设备节点的设备训练能耗，为设备节点的网络输导能耗，λ^t表示联邦学习系统在时间片t中，设备层各设备节点的选择状态。

4.根据权利要求2所述的联邦学习系统设备节点选择的方法，其特征在于，所述奖励函数R的公式为：

其中，为设备节点的设备训练能耗，为设备节点的网络输导能耗，为设备节点输出结果的正确率，为在时间片t中设备层中设备节点d的选择状态，d代表设备层中设备节点中任一个，n代表设备层中设备节点的个数，S_t表示联邦学习系统在时间片t的系统状态，λ^t表示联邦学习系统在时间片t中，设备层各设备节点的选择状态。

5.根据权利要求1所述的联邦学习系统设备节点选择的方法，其特征在于，所述以联邦学习系统的奖励函数的累计值最大化为目标，确定设备层中各设备节点的选择状态，包括：

基于联邦学习系统的奖励函数R以及奖励函数R的衰减指数γ，确定联邦学习系统的奖励函数的累计值；

基于A3C算法，确定联邦学习系统的奖励函数的累计值最大时，对应的设备层中各设备节点的选择状态为各设备节点的选择方案。

6.根据权利要求5所述的联邦学习系统设备节点选择的方法，其特征在于，所述基于A3C算法，确定联邦学习系统的奖励函数的累计值最大时，对应的设备层中各设备节点的选择状态为各设备节点的选择方案，包括：

基于A3C算法，分别在Actor网络和Critic网络按照不同的梯度更新各自的网络参数，并确定对应的设备层的各设备节点的选择方案。

7.根据权利要求6所述的联邦学习系统设备节点选择的方法，其特征在于，所述基于A3C算法，分别在Actor网络和Critic网络按照不同的梯度更新各自的网络参数，并确定对应的设备层的各设备节点的选择方案，包括：

在Actor网络中，基于第一梯度，更新Actor网络的参数；

在Critic网络中，基于第二梯度，更新Critic网络的参数；

其中，所述第一梯度是基于Actor网络中优势函数对动作求导以及概率模型对当前Actor网络参数求导得到的；所述第二梯度是基于价值预测的损失函数对Critic网络参数求导得到的；

基于更新后的Actor网络参数和Critic网络参数，多个智能体agent确定联邦学习系统的奖励函数累计值最大时，对应的设备层中各设备的选择方案。