[发明专利]一种联邦学习下边端协同的信道适应性梯度压缩方法

说明书

本发明公开了一种联邦学习下边端协同的信道适应性梯度压缩方法，包括以下步骤：S1、每个终端利用上行信道向边缘服务器发送已知的训练序列；S2、边缘服务器根据每个终端发送的训练序列通过信道后受到的劣化程度估计各个终端的上行信道状况，存储各个上行信道的信道增益参数；S3、边缘服务器利用终端的信道状况和设定的总量化比特数，求解优化问题，进行量化比特数分配；S4、边缘服务器向参与联邦学习的终端广播各自可以使用的量化比特数信息；S5、终端在广播的信息中找到自己可以使用的量化比特数，对本地更新梯度进行量化。本发明具有有效缓解无线通信信道劣化对联邦学习训练效果的影响，缓解通信瓶颈，提高系统抗噪性能等优点。

技术领域

本发明属于联邦学习梯度压缩技术领域，具体涉及一种联邦学习下边端协同的信道适应性梯度压缩方法。

背景技术

随着移动智能设备的兴起，大量数据分散在边缘端，有限的通信资源和用户对隐私的保护使得分布式机器学习框架——联邦学习快速发展。在联邦学习框架中，终端利用本地数据进行本地模型训练，将训练得到的本地模型参数上传至边缘服务器，边缘服务器聚合所有本地模型参数后更新全局模型参数，随后广播全局模型参数，整个联邦学习进行上述步骤的迭代直至全局模型收敛。然而，由于用户数据复杂性逐渐提升，需要上传的本地模型参数维度呈指数型增长，这使得基于梯度压缩的联邦学习方案逐渐引起重视。一般地，基于SGD(Stochastic Gradient Descent)的联邦学习方案可以取得较好的训练效果，在这种策略下，用户进行本地迭代后上传的是本地损失函数的随机梯度，由于训练模型日趋复杂，随机梯度的维度也逐渐增加。针对以上问题，现有方案多采用随机梯度量化的方法，以有效地压缩梯度维度、降低数据规模、缓解通信瓶颈。

但现有方案中，仍然存在以下问题：

1、终端集群通常位于同一个边缘服务器的服务范围内，其上行信道可视为由总上行信道划分的多个独立正交的子信道，总信道容量是有限的。

2、终端的上行信道存在无线通信信道中普遍存在的信道衰落和信道噪声，当量化后的随机梯度通过该类衰落信道进行传输后，数据会受到一定的损坏。当边缘服务器利用有损失的随机梯度进行聚合和全局迭代时，得到的全局模型将会和理想的全局模型存在偏差，使得联邦学习表现变差。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种联邦学习下边端协同的信道适应性梯度压缩方法。

为了达到上述目的，本发明采用以下技术方案：

一种联邦学习下边端协同的信道适应性梯度压缩方法，基于联邦学习系统，包括以下步骤：

S1、每个终端利用自己的上行信道向边缘服务器发送已知的训练序列；

S2、边缘服务器根据每个终端发送的训练序列通过信道后受到的劣化程度估计各个终端的上行信道状况，存储各个上行信道的信道信息；

S3、边缘服务器利用终端的信道状况和设定的总量化比特数，求解优化问题，进行量化比特数分配；

S4、边缘服务器向参与联邦学习的终端广播所有终端各自可以使用的量化比特数信息；

S5、终端在广播的信息中找到自己可以使用的量化比特数，对本地更新梯度进行量化。

进一步的，所述联邦学习系统，包括边缘服务器以及若干个终端；

所述边缘服务器布设在基站中，所述边缘服务器包括计算单元、存储单元、训练单元以及发送单元；

所述终端包括量化单元、存储单元、训练单元以及发送单元；

所述边缘服务器和所述终端用于协作完成指定任务，任务需要使用的原始数据分布于终端中，边缘服务器无法接触到原始数据；