[发明专利]一种联邦学习中基于模型权值分布的通信压缩方法

权利要求书

1.一种联邦学习中基于模型权值分布的通信压缩方法,其特征在于，用于中心式通信系统，所述中心式通信系统包括K个边缘节点和中心服务器，每个边缘节点均与中心服务器相连接；

边缘节点在整个联邦学习过程中仅与中心服务器进行通信，所述通信压缩方法分别针对中心服务器将从边缘节点汇总后的全局模型广播到边缘节点的过程以及边缘节点将训练得到新的本地模型上传中心服务器的过程；对边缘节点的模型参数w中各个向量参数[w⁽¹⁾，...，w^(S)]执行相同的并行操作，w^(s)，s＝1,2,3……S,w^(s)表示第s个模型参数，所述通信压缩方法的具体步骤包括：

(1)对待压缩的模型参数w^(s)中的元素的分布进行拟合，i＝1,2,3……n,表示模型参数w^(s)的第i个元素，得到分布的近似概率密度函数p_s(w)；

(2)设定量化区间数目M，通过Lloyd-Max算法，利用概率密度函数p_s(w)，得到使均方量化误差最小的量化间隔端点向量以及量化输出值向量表示量化间隔端点向量的第m个元素；表示第m个量化输出值；量化间隔端点向量用于确定各个量化间隔端点，量化输出值向量用于确定量化间隔端点对应的量化输出值；

(3)对模型参数w^(s)中的元素逐个进行映射，得到量化后的有损模型参数Q(w^(s))；

(4)通过Huffman编码方法对量化后的有损模型参数Q(w^(s))进行编码，得到模型参数w^(s)经压缩后最终传输的二进制码。

2.根据权利要求1所述的一种联邦学习中基于模型权值分布的通信压缩方法,其特征在于，步骤(2)中，设定量化区间数目M，通过Lloyd-Max算法，利用概率密度函数p_s(w)，得到使均方量化误差最小的量化间隔端点向量以及量化输出值向量具体步骤为：

1)取待量化模型参数w^(s)中的元素中的最大值为最小值为初始化以及随机设置第一个量化输出值的初始值，且满足

2)令m＝1，m表示索引；

3)把和代入式(I)：

解出

4)把和代入式(II)：

解出

5)令m加1；

6)若mM，则返回步骤3)，否则进入步骤7)；

7)经过步骤1)-步骤6)的迭代计算，解出和中的各元素；将与进行相减，若两者的差值大于预设门限值，则调整的初始设置值并重复步骤2)到步骤6)，解出新的直到与的差值小于预设门限值，最终得到最优的量化间隔端点向量以及量化输出值向量

3.根据权利要求2所述的一种联邦学习中基于模型权值分布的通信压缩方法,其特征在于，步骤(3)中，对模型参数w^(s)中的元素逐个进行映射，得到量化后的有损模型参数Q(w^(s))；具体步骤为：

利用最优量化间隔端点向量b^(s)，将w_i分布区间分为M个区间段，将落入各个区间的元素映射为量化输出向量υ^(s)中相应序列的值。

4.根据权利要求1所述的一种联邦学习中基于模型权值分布的通信压缩方法,其特征在于，步骤(4)中，通过Huffman编码方法对量化后的有损模型参数Q(w^(s))进行编码，得到模型参数w^(s)经压缩后最终传输的二进制码，具体步骤为：

a、根据量化后的模型参数Q(w^(s))中的各元素及各元素出现的频率，将元素依概率由大到小排列，编码时从最小的两个元素开始，将两者合并为一项元素，并对较小者标记0，对较大者标记1；

b、根据步骤a更新全体元素，进行新的排列并再次合并最小的两个元素；

c、重复步骤a和步骤b，直至剩下一项元素的概率为1，从而得到Huffman树；

d、从Huffman树中概率为1的最终节点出发，对于每一个元素，都有且只有一条通路到达代表该元素的叶节点，依次读出路径中标记的二进制序列，则得到该元素的Huffman码，最终将待压缩的模型参数向量压缩为用于实际发送的二进制Huffman编码。