[发明专利]一种边-端协同梯度压缩聚合方法以及装置

权利要求书

1.一种边-端协同梯度压缩聚合方法，其特征在于：

等待当次训练迭代开始；

根据当前的迭代次数端设备和边缘服务选择梯度压缩聚合模式；其中，所述梯度压缩聚合模式包括第一模式：等待向后传播结束，再在端设备中进行基于原始梯度的梯度压缩矩阵计算；第二模式：在边缘服务器中进行基于近似梯度的边-端协同梯度压缩矩阵计算，然后等待后向传播结束；

根据所述梯度压缩矩阵进行梯度压缩与近似梯度计算。

2.根据权利要求1所述的边-端协同梯度压缩聚合方法，其特征在于，所述根据当前的迭代次数端设备和边缘服务选择梯度压缩聚合模式，进一步包括：

判断当前迭代次数t是否大于1，若大于1，选择第一模式，否则计算当前迭代次数t除以d的余数，如果该余数为0，选择第一模式，否则选择第二模式；其中d的取值范围为大于2的任意正整数。

3.根据权利要求1所述的边-端协同梯度压缩聚合方法，其特征在于，所述的进行基于原始梯度的梯度压缩矩阵计算，进一步包括：

每个端设备使用张量矩阵化技术将当次迭代中产生的梯度转化为矩阵；

每个端设备计算局部梯度压缩矩阵；

端设备与边缘服务器之间做集合通信，计算所有端设备上的局部梯度压缩矩阵的平均值。

4.根据权利要求3所述的边-端协同梯度压缩聚合方法，其特征在于，所述的每个端设备计算局部梯度压缩矩阵，由公式(1)或公式(2)进行计算

其中，Q_i,t为n行k列的随机矩阵(矩阵中的每个元素为0到1之间的随机数)；t为当前迭代次数；G_i,t为第i个端设备在当次迭代中产生的梯度被转化的矩阵，矩阵G_i,t的列数为n；U_i,t为第i个端设备的局部梯度压缩矩阵；V_i,t-1为第i个端设备在t-1次迭代中产生的压缩梯度；I为k行k列的单位矩阵；(*)^T表示对该矩阵做转置；(*)^-1表示求取该矩阵的逆矩阵；k和λ为梯度压缩参数,k的取值范围为任意正整数，λ的取值范围为任意正数。

5.根据权利要求1所述的边-端协同梯度压缩聚合方法，其特征在于，所述的进行基于近似梯度的边-端协同梯度压缩矩阵计算，进一步包括：

端设备与边缘服务器之间做集合通信，边缘服务器收集所有端设备在t-1次迭代中产生的压缩梯度，其中，t为当前迭代次数；

边缘服务器计算所有端设备在t-1次迭代的近似梯度，其中，t为当前迭代次数；

边缘服务器计算梯度压缩矩阵；

端设备与边缘服务器之间做集合通信，边缘服务器向所有端设备广播当次迭代的梯度压缩矩阵。

6.根据权利要求5所述的边-端协同梯度压缩聚合方法，其特征在于：所述的边缘服务器计算所有端设备在t-1次迭代的近似梯度，具体通过公式(3)进行计算，

式中，H_i,t-1为第i个端设备在t-1次迭代中产生的近似梯度，为t-1次迭代的梯度压缩矩阵，V_i,t-1为第i个端设备在t-1次迭代中产生的压缩梯度，t为当前迭代次数，(*)^T表示对该矩阵做转置。

7.根据权利要求5或6所述的边-端协同梯度压缩聚合方法，其特征在于：所述的边缘服务器计算梯度压缩矩阵，具体通过公式(4)进行计算，

式中，为梯度压缩矩阵，V_i,t-1为第i个端设备在t-1次迭代中产生的压缩梯度，t为当前迭代次数，(*)^T表示对该矩阵做转置，H_i,t-1为第i个端设备在t-1次迭代中产生的近似梯度，M为端设备的数量，I为k行k列的单位矩阵。