[发明专利]数据回传处理、客户端选择方法、装置及电子设备

说明书

本申请实施例公开了数据回传处理、客户端选择方法、装置及电子设备，其中，所述数据回传处理方法包括：在基于联邦学习架构对算法模型进行多轮迭代训练的过程中，通过客户端完成当前轮次的迭代计算后，确定出待回传到服务端的原始高维几何量；根据所述原始高维几何量中各分量上的数值的相似度，将所述原始高维几何量压缩为低维几何量；将所述低维几何量回传到所述服务端，以便所述服务端对多个客户端回传的低维几何量进行聚类，并根据聚类得到的多个簇进行客户端选择，在被选中的部分客户端回传所述原始高维几何量后，通过对接收到的多个原始高维几何量进行聚合计算，更新全局模型参数。通过本申请实施例，能够在节省通信开销的同时，提升模型的训练效率。

技术领域

本申请涉及联邦学习技术领域，特别是涉及数据回传处理、客户端选择方法、装置及电子设备。

背景技术

数据驱动的智能分析技术是未来智能时代的核心。而随着数据滥用、信息窃取、隐私泄露等问题的日益泛滥，“数据本地化”已经成为国际趋势。在数据保护日益严格的背景下，限制数据跨境流动已经成为数据监管的一大重点，这就使得海外用户数据无法统一回流至某一国家内部的中心服务器，相应的，通过国内服务器进行中心化的算法模型训练方式将面临严峻挑战。

为了应对上述问题，FL(Federated Learning，联邦学习)成为一种有效的解决方式。联邦学习作为分布式机器学习的一种范式，可以让参与方在不共享数据的基础上联合建模，从而从技术上打破数据孤岛，实现数据协作。

在联邦学习的架构下，采用Master/Worker(主从架构)形式，每个参与方相当于一个Worker，或称Client，也即客户端，参与方本地计算梯度，由一个数据中心(Master，或称Server，也即服务端)统一收集参与方的梯度并更新模型。具体对算法模型进行训练的过程一般包括以下步骤：

1、所有客户端从服务端下载最新算法模型；

2、每个客户端利用本地数据每完成一轮迭代后，计算梯度方向，将梯度方向加密回传到服务端，服务端再聚合这些梯度，进行全局的模型参数更新；或者也可以是客户端在每完成一轮迭代并计算出梯度后，先进行模型参数的更新，然后将更新后的模型参数回传到服务端，服务端通过聚合多个客户端上传的模型参数，进行全局的模型参数更新；

3、服务端将更新后的全局模型参数分发给各客户端；

4、所有客户端更新本地模型，并进行下一轮迭代，直到算法收敛。

但是，在上述过程中，数据回传过程中产生的通信开销会非常大，甚至可能出现超出网络带宽上限的情况。

发明内容

本申请提供了数据回传处理、客户端选择方法、装置及电子设备，能够在节省通信开销的同时，提升模型的训练效率。

本申请提供了如下方案：

一种数据回传方法，包括：

在基于联邦学习架构对算法模型进行多轮迭代训练的过程中，通过客户端完成当前轮次的迭代计算后，确定出待回传到服务端的原始高维几何量；

根据所述原始高维几何量中各分量上的数值的相似度，将所述原始高维几何量压缩为低维几何量；

将所述低维几何量回传到所述服务端，以便所述服务端对多个客户端回传的低维几何量进行聚类，并根据聚类得到的多个簇进行客户端选择，在被选中的部分客户端回传所述原始高维几何量后，通过对接收到的多个原始高维几何量进行聚合计算，更新全局模型参数。

其中，所述根据所述原始高维几何量中各分量上的数值的相似度，将所述原始高维几何量压缩为低维几何量，包括：

按照所述原始高维几何量中多个分量上的数值的相似度，对所述多个分量上的数值进行聚类；