[发明专利]一种联邦学习中基于模型权值分布的通信压缩方法

说明书

本发明涉及一种联邦学习中基于模型权值分布的通信压缩方法，属于无线通信技术领域。本发明基于联邦学习中已有的联邦平均思想，每次通信时首先统计出节点之间要传输的模型权重信息的分布，然后根据其分布特性，通过Lloyd‑Max量化器进行标量量化压缩，然后使用Huffman编码方法来进行编码，最终发送到目标节点，从而在实现最小均方量化误差的同时减小通信所需的比特数。本发明所设计的通信压缩方法，具有良好的普适性，在保证学习效率的前提下节省了通信开销，具有实用性。

技术领域

本发明涉及一种联邦学习中基于模型权值分布的通信压缩方法，属于无线通信技术领域。

背景技术

联邦学习是一种新兴的分布式学习方法，通过将训练过程在本地完成的思想来达到保护用户数据隐私和安全的目的。

在传统的分布式学习框架中，为了得到具备普适性的学习模型，各节点需要将本地数据发送到服务器端进行训练。目前，随着个人数据的隐私安全变得越发重要，共享本地数据的过程成为了一大弊端，联邦学习应运而生。与传统的分布式学习相比，联邦学习中的节点无需分享本身拥有的数据，而是先利用拥有的数据，先在本地训练出本地模型，再与其他节点共享和加权各自的本地模型参数。在现今日益强调用户数据隐私和安全的背景下，联邦学习无疑具有很大的应用前景。

在联邦学习中，节点之间通信时的带宽占用直接影响训练的收敛速度，是联邦学习过程中非常重要的一个环节。而现有技术中，为减少带宽占用，一种重要的思想是压缩节点之间的通信量，使得较小影响传输精度的前提下尽可能减小通信量的花费。节点之间通信是通过传输梯度或传输模型实现的，目的是交换模型的更新信息。现有压缩方案大多以传输梯度为基础，利用梯度的稀疏特性进行压缩处理。由于各个节点上的梯度信息需要通过汇聚到中心节点再分发回各个节点才能在一个节点上完成一次模型更新，即两次通信只完成一次本地节点上的梯度下降，对通信量的压缩还有提升空间。

发明内容

针对现有技术的不足，本发明提供了一种联邦学习中基于模型权值分布的通信压缩方法，基于联邦学习中的联邦平均思想，对于模型信息中的每一个参数，每次通信时首先统计出节点之间要传输的模型权重信息的分布，然后根据其分布特性进行标量量化压缩，然后使用Huffman编码方法来进行编码，最终发送到目标节点，从而在实现最小均方量化误差的同时减小通信所需的比特数。

术语解释：

1.Huffman编码法：是一种通过构造最佳二叉树，完全依据字符出现概率来构造异字头的平均长度最短码字的编码方法。

2.Lloyd-Max算法：是一种在标量量化中为最小化均方量化误差，根据变量概率分布来求出最佳量化间隔和最佳量化输出的迭代算法。

本发明的技术方案为：

一种联邦学习中基于模型权值分布的通信压缩方法，用于中心式通信系统，所述中心式通信系统包括K个边缘节点和中心服务器，每个边缘节点均与中心服务器相连接；

第k个边缘节点中存储有本地数据在第t个全局模型训练周期中，边缘节点k基于本次迭代周期从中心服务器得到的全局模型w_t以及本地数据通过随机梯度下降法训练得到新的的模型参数k的取值为1，2，3，……K，且k为正整数；中心服务器将各个边缘节点更新的本地模型汇总，得出新的全局模型w_t+1；

边缘节点在整个联邦学习过程中仅与中心服务器进行通信，所述通信压缩方法分别针对中心服务器将从边缘节点汇总后的全局模型广播到边缘节点的过程以及边缘节点将训练得到新的本地模型上传中心服务器的过程；对边缘节点的模型参数w中各个向量参数[w⁽¹⁾，...，w^(s)]执行相同的并行操作，w^(s)，s＝1，2，3……S，w^(s)表示第s个模型参数，以向量参数w^(s)为例，所述通信压缩方法的具体步骤包括：