[发明专利]一种基于联邦学习的模型训练方法、装置及存储介质

说明书

本申请公开了一种基于联邦学习的模型训练方法，该方法应用于机器学习领域，本申请包括根据每个参与方节点的响应时间，对K个参与方节点进行聚类簇的划分处理，得到N个聚类簇；从N个聚类簇中选择目标聚类簇；从目标聚类簇中选择Ω个参与方节点；向Ω个参与方节点发送梯度更新请求，以使Ω个参与方节点根据梯度更新请求，对本地模型的第一本地模型梯度进行更新，以得到第二本地模型梯度；当接收到T个参与方节点发送的第二本地模型梯度时，根据T个第二本地模型梯度对联合模型进行模型训练。本申请实施例提供了装置及存储介质。本申请不仅可以降低服务器的总等待时间，而且可提升模型训练效果。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种基于联邦学习的模型训练方法、装置及存储介质。

背景技术

联邦学习（Federated-learning）是一种基于隐私保护的分布式机器学习训练方式，联邦学习的目标是在保证数据隐私安全及合法性的基础上，实现共同建模，能够在保护数据隐私的同时训练出一个高质量的中心化人工智能模型。

目前，针对联邦学习的效率优化问题，可采用节点选择方法进行优化。具体过程为，服务器选择设备资源充足的参与方节点进行联合模型训练和参数迭代，排除设备资源不充足的参与方节点，即通过剔除响应时间慢的参与方节点，以提升联邦学习的训练效率。

然而，虽然剔除响应时间慢的参与方节点能够在一定程度上提升联邦学习的训练效率，但是这部分参与方节点的样本数据并未参与到联合模型训练中，因此，会导致模型训练效果出现偏差，降低了模型预测的准确性。

发明内容

本申请实施例提供了一种基于联邦学习的模型训练方法、装置及存储介质。一方面，由于聚类簇内所有参与方节点的响应时间相近，因此，降低服务器的总等待时间，另一方面，从聚类簇的维度上筛选参与方节点，对于部分响应时间较慢的参与方节点而言，仍然有一定几率被选中，从而提升模型训练的效果。

有鉴于此，本申请一方面提供一种基于联邦学习的模型训练方法，包括：

获取K个参与方节点中每个参与方节点的响应时间，其中，K为大于1的整数；

根据每个参与方节点的响应时间，对K个参与方节点进行聚类簇的划分处理，得到N个聚类簇，其中，每个聚类簇包括至少一个参与方节点，N为大于或等于2的整数；

从N个聚类簇中选择一个聚类簇作为目标聚类簇；

若目标聚类簇中所包括的参与方节点数量大于或等于节点数量阈值，则对目标聚类簇中的参与方节点进行选择，得到Ω个参与方节点，其中，Ω为大于1的整数；

向Ω个参与方节点发送梯度更新请求，以使Ω个参与方节点中的每个参与方节点根据梯度更新请求，分别对所述每个参与方节点所对应的本地模型进行模型训练，以将每个本地模型的第一本地模型梯度更新为第二本地模型梯度；

当接收到Ω个参与方节点中T个参与方节点发送的第二本地模型梯度时，根据T个第二本地模型梯度对联合模型进行模型训练，以将联合模型的第一联合模型梯度更新为第二联合模型梯度，其中，T表示联邦批尺寸，T为大于或等于1，且小于或等于Ω的整数。

本申请另一方面提供一种模型训练装置，包括：

获取模块，用于获取K个参与方节点中每个参与方节点的响应时间，其中，K为大于1的整数；

划分模块，用于根据每个参与方节点的响应时间，对K个参与方节点进行聚类簇的划分处理，得到N个聚类簇，其中，每个聚类簇包括至少一个参与方节点，N为大于或等于2的整数；

选择模块，用于从N个聚类簇中选择一个聚类簇作为目标聚类簇；

选择模块，还用于若目标聚类簇中所包括的参与方节点数量大于或等于节点数量阈值，则对目标聚类簇中的参与方节点进行选择，得到Ω个参与方节点，其中，Ω为大于1的整数；