[发明专利]分布式系统中的数据传输方法、装置、设备及存储介质

说明书

本申请是关于一种分布式系统中的数据传输方法、装置、设备及存储介质，涉及人工智能技术领域。所述方法包括：在边缘节点设备中对梯度训练模型进行训练，获得原始梯度；对该原始梯度中的各个梯度数据进行聚类，获得至少两个梯度数据簇；以至少两个梯度数据簇的质心值为目标，对至少两个梯度数据簇中的梯度数据进行更新，生成该原始梯度的压缩梯度；该压缩梯度中包含分簇信息以及该至少两个梯度数据簇的质心值；该分簇信息用于指示该各个梯度数据所属的梯度数据簇；将该压缩梯度发送给该中心节点设备。在基于云服务器的分布式数据处理场景中，上述方案能够在保证模型训练的准确性的同时，降低云服务器的带宽资源的消耗，提高通信传输效率。

技术领域

本申请涉及人工智能技术领域，特别涉及一种分布式系统中的数据传输方法、装置、设备及存储介质。

背景技术

随着人工智能的不断发展，以及用户隐私要求的不断提高，基于分布式系统的机器学习模型训练的应用也越来越广泛。

联邦学习是一种基于云技术的分布式系统的机器学习方式。在联邦学习架构中，包含中心节点设备和多个边缘节点设备，每个边缘节点设备在本地存储有各自的训练数据，且中心节点设备和各个边缘节点设备中都设置有模型架构相同的模型。在联邦学习过程中，各个边缘节点设备基于初始化的模型参数，对本地的模型进行训练，将训练得到的梯度数据上传至中心节点设备，由中心节点设备融合各个边缘节点设备的梯度数据来更新中心节点设备中的模型参数。

上述边缘节点设备数量众多，中心节点设备与边缘节点设备之间需要进行多轮数据交互，且交互的过程中又产生大量的数据，但是无线通讯的带宽资源受限，这使得梯度数据传输的速度远小于中心节点设备、边缘节点设备处理数据的速度，因此，联邦学习的模型训练效率被严重地降低了。

发明内容

本申请实施例提供了一种分布式系统中的数据传输方法、装置、设备及存储介质，能够在保证模型训练的准确性的同时，降低带宽资源的消耗，提高通信传输效率，该技术方案如下：

一方面，提供了一种分布式系统中的数据传输方法，由分布式系统中的边缘节点设备执行，所述分布式系统中包含中心节点设备与至少两个所述边缘节点设备，所述方法包括：

在所述边缘节点设备中对梯度训练模型进行训练，获得原始梯度；

对所述原始梯度中的各个梯度数据进行聚类，获得至少两个梯度数据簇；

以所述至少两个梯度数据簇的质心值为目标，对所述至少两个梯度数据簇中的梯度数据进行更新，生成所述原始梯度的压缩梯度；所述压缩梯度中包含分簇信息以及所述至少两个梯度数据簇的质心值；所述分簇信息用于指示所述各个梯度数据所属的梯度数据簇；

将所述压缩梯度发送给所述中心节点设备。

又一方面，提供了一种分布式系统中的数据传输装置，所述装置用于分布式系统中的边缘节点设备，所述分布式系统中包含中心节点设备与至少两个所述边缘节点设备，所述装置包括：

原始梯度获取模块，用于在所述边缘节点设备中对梯度训练模型进行训练，获得原始梯度；

梯度数据簇获取模块，用于对所述原始梯度中的各个梯度数据进行聚类，获得至少两个梯度数据簇；

压缩梯度获取模块，用于以所述至少两个梯度数据簇的质心值为目标，对所述至少两个梯度数据簇中的梯度数据进行更新，生成所述原始梯度的压缩梯度；所述压缩梯度中包含分簇信息以及所述至少两个梯度数据簇的质心值；所述分簇信息用于指示所述各个梯度数据所属的梯度数据簇；

压缩梯度发送模块，用于将所述压缩梯度发送给所述中心节点设备。

在一种可能的实现方式中，所述梯度数据簇获取模块，包括：