[发明专利]应用多代价函数的系统异构联邦学习效率提升方法

说明书

本发明涉及应用多代价函数的系统异构联邦学习效率提升方法，属于计算机与信息科学技术领域。本发明首先根据建模任务设置初始训练参数，确定参与客户端并进行联邦训练；其次，在新一轮训练前根据客户端数据量、计算性能及通信性能、在当前服务器等待时间内训练完成情况动态构建客户端空闲代价函数和终止代价函数；然后，遍历服务器等待时间的可能取值，最小化所有客户端总代价得到最优等待时间，进而更新训练参数并调整参与客户端；最后，通过多轮联邦训练达到全局模型准确率要求。本发明提出参与客户端的空闲代价和终止代价函数计算方法，将服务器固定的等待时间进行动态调整，有效提升了联邦学习训练效率。

技术领域

本发明涉及应用多代价函数的系统异构联邦学习效率提升方法，属于计算机与信息科学技术领域。

背景技术

近年来互联网和人工智能的飞速发展使机器学习与数据分析深入到生活中的各方各面。日常使用的手机，电脑会产生大量私人数据，在机器学习模型中加以利用能够极大地改善用户体验。然而这些数据往往涉及用户隐私，将其集中存储在服务器上存在风险和责任。同时在分布式网络中，相对将海量数据传输到服务器上后再进行训练的传统机器学习方法，用户在本地学习并生成模型的通信成本更低，更具实际效果。近年来兴起的联邦学习使用户数据在不出本地的条件下开展联邦建模，能够有效保护用户隐私。但在联邦学习过程中存在系统异构问题，即各用户使用的设备特性不同，其本地数据量、计算性能及通信性能都存在差异。这对联邦学习的效果与成本带来了挑战：当服务器将未在规定时间内完成训练的客户端模型丢弃时，如果被丢弃的模型中含有特定数据特征，则会对全局模型收敛产生负面影响；当服务器保持等待直到所有客户端完成训练时，则低效客户端会严重影响服务器利用其他客户端的资源。

现有的联邦学习方法固定参数提交的截止时间，主要通过改进机器学习算法缓解数据异构，大多忽略了更为重要的系统异构。在实际应用中，服务器需要考虑如何平衡客户端数据量、计算性能及通信性能，保证在聚合全局模型过程中的训练效率。同时客户端本地训练需要占用设备的计算资源及通信资源，即使选择在夜间开展训练，也可能遭遇通信受阻、电量不足等突发情况，影响服务器聚合全局模型。

基于计算卸载的联邦学习方法将客户端数据转移到边缘服务器上进行计算，以此降低客户端本地的计算压力，但使用通信网络传输客户端数据增大了用户隐私泄露的风险，违背了联邦学习保护隐私的初衷。面向计算资源异构的联邦学习方法通过判断客户端间迭代次数差是否达到阈值决定是否等待，虽利用了客户端的计算资源，但对所有客户端进行监控产生了更多的通信量，反而会降低联邦学习的训练效率。

发明内容

本发明的目的是针对现有联邦学习方法固定服务器等待时间，忽略客户端与服务器间通信效率的问题，提出了应用多代价函数的系统异构联邦学习效率提升方法。

本发明的设计原理为：首先，根据建模任务设置初始训练参数，确定参与客户端并进行联邦训练；其次，在新一轮训练前根据客户端数据量、计算性能及通信性能、在当前服务器等待时间内训练完成情况动态构建客户端空闲代价函数和终止代价函数；然后，遍历服务器等待时间的可能取值，最小化所有客户端总代价得到最优等待时间，进而更新训练参数并调整参与客户端；最后，通过多轮联邦训练达到全局模型准确率要求。

本发明的技术方案是通过如下步骤实现的：

步骤1，服务器根据建模任务设置初始训练参数，并向各客户端发出联邦建模请求。

步骤1.1，服务器根据建模任务设置初始训练参数。

步骤1.2，空闲客户端响应服务器，服务器生成参与客户端集合。

步骤2，服务器将全局模型下发至各客户端进行训练，开展联邦建模。

步骤2.1，参与客户端在建模过程中可根据自身情况主动退出联邦建模。

步骤2.2，空闲客户端可随时向服务器发送请求参与联邦建模。