[发明专利]一种基于标签量信息的联邦学习节点选择方法及系统

说明书

本发明公开了一种基于标签量信息的联邦学习节点选择方法及系统，该方法包括：根据本地数据生成标签向量并通过加密矩阵对标签向量进行加密，得到加密后标签向量；根据计算资源估计单轮训练耗时，得到训练耗时估计；上传加密后标签向量与训练耗时估计并进行数据整合，得到整合后数据；基于整合后数据，在预设的最大通信耗时限制下，搜索标签组合分布最优的节点序列作为最终的被选客户节点序列。该系统包括：计算节点、加密中心和计算服务器。通过使用本发明，保证联邦学习的通信效率的同时，提高新节点选择方法的泛用性。本发明作为一种基于标签量信息的联邦学习节点选择方法及系统，可广泛应用于人工智能机器学习领域。

技术领域

本发明涉及人工智能机器学习领域，尤其涉及一种基于标签量信息的联邦学习节点选择方法及系统。

背景技术

联邦学习是一种新兴的人工智能技术，旨在保护节点数据隐私的同时完成一个机器学习模型的分布式训练。与传统的机器学习分布式训练类似，在拥有保护用户数据隐私的优势的同时，联邦学习能通过增加计算节点的数量来提高模型的训练效率。由于训练过程往往在无线通信环境下完成，相较于传统分布式学习的有线通信而言，联邦学习的通信成本往往偏高。为了节省联邦学习的通信效率，服务器在每个回合仅会选择一部分的节点进行训练，现有的节点选择方法包括基于通信条件估计的方法和基于梯度信息的方法，但这两类方法以优化收敛或通信单方面性能为主且难以兼容。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于标签量信息的联邦学习节点选择方法及系统，本方法能保证一定的联邦学习的通信效率且有效缓解节点数据的非独立同分布特征对模型收敛的负面影响，并在引入了节点标签量的同时，提供一个计算复杂度较低的隐私保护机制，从而提高了新节点选择方法的泛用性。

本发明所采用的第一技术方案是：一种基于标签量信息的联邦学习节点选择方法，包括以下步骤：

根据本地数据生成标签向量并通过加密矩阵对标签向量进行加密，得到加密后标签向量；

根据计算资源估计单轮训练耗时，得到训练耗时估计；

上传加密后标签向量与训练耗时估计并进行数据整合，得到整合后数据；

基于整合后数据，在预设的最大通信耗时限制下，搜索标签组合分布最优的节点序列作为最终的被选客户节点序列。

进一步，所述根据本地数据生成标签向量并通过加密矩阵对标签向量进行加密，得到加密后标签向量这一步骤，其具体包括：

计算节点根据自身本地数据生成标签向量Z_k；

从加密中心获取单位正交矩阵M；

根据单位正交矩阵M对自身的标签向量进行变换，得到加密后标签向量Z_k′。

进一步，所述上传加密后标签向量与训练耗时估计并进行数据整合，得到整合后数据这一步骤，其具体包括：

计算节点将加密后标签向量与训练耗时估计上传至计算服务器；

计算服务器根据信道信息估计出各节点的单轮耗时T_k并删除单轮耗时T_k超过预设阈值的节点；

将剩余节点的单轮耗时T_k取整，得到整合后数据。

进一步，所述基于整合后数据，在预设的最大通信耗时限制下，搜索标签组合分布最优的节点序列作为最终的被选客户节点序列这一步骤，其具体包括：

计算服务器建立价值矩阵M_value和标签矩阵M_label，并根据节点的加密后标签Z_k′求得全局标签向量Z_global；

打乱节点顺序；