[发明专利]基于半异步的联邦学习方法、系统、服务器及介质

说明书

本发明公开了一种基于半异步的联邦学习方法，其在中央服务器上根据每一个客户端的的本地模型更新方向和更新时间对所述客户端进行分组，得到多个客户端组，并创建多个以客户端组为单位的调度进程，以使得所述调度进程在每个通信轮中初始化所属组的组模型版本号，并在每个通信轮中根据客户端的本地模型的版本号与组模型版本号计算版本号之差，以用来衡量客户端的本地模型的过时程度，进而使得所述客户端根据版本号之差与预设模型过时阈值的比较结果选择同步更新或异步更新的方式更新本地模型，其能有效解决客户端的掉队效应，并能解决客户端的模型过时问题，进而提升模型的精确度。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种基于半异步的联邦学习方法、系统、中央服务器以及计算机可读存储介质。

背景技术

联邦学习是一种新兴的机器学习框架，其目的是帮助多个机构在满足用户隐私需求、数据安全和政府法律法规的要求下，利用数据并进行机器学习建模。在联邦学习系统中，客户端为可被连接的移动或物联网设备，服务端为云服务器。云服务器起着维护和部署全局的机器学习模型的作用，每个客户端下载云服务器上的全局模型作为本地的模型。系统的作用机理是由多个通信轮组成的，在每个通信轮中，云服务器部署全局模型到每个客户端，每个客户端以其存储数据集作为训练数据集训练本地模型，云服务器收集这些模型后整合成一个新的全局的模型。通信轮数由具体训练任务决定。在该系统的整个训练过程中，传输的数据是模型，而不是客户端上的训练数据，保障了数据安全。

现有的联邦学习系统主要有两种模型更新机制：

同步更新机制：同步的联邦学习系统中，所有客户端需要在统一的时间节点上下载云服务器上的全局模型，并且云服务器需要等待所有客户端完成训练任务。该同步联邦学习的优点是模型收敛速度快和精度高。

异步更新机制：在异步的联邦学习系统中，中央服务器只需要对已经完成训练任务的客户端传输的模型参数进行整合，不需要等待所有客户端，每个客户端可以在训练过程完成后向服务器请求新的全局模型。这种更新机制避免了服务器进入空等状态。例如，一个异步在线联邦学习系统，该系统中客户端使用连续流的本地数据进行在线学习并且以异步的方式更新全局模型。

本发明人在实施上述过程中发现，上述基于同步更新机制的联邦学习系统中，存在着某些客户端掉队，而使中央服务器陷入空等的状态。掉队效应是指由于网络资源或硬件资源不足导致某些客户端无法完成训练任务或者训练缓慢。

而异步更新机制虽然对解决掉队效应具有天然的优势，但是这种更新机制也存在一些缺点。一方面，这种机制使数据传输变大，可能导致服务器崩溃。另一方面，这种机制存在着模型过时的问题。即当服务器接收到由一个更新较慢的客户端上传的本地模型时，服务器上的全局模型已经被其他客户端更新了多次，该客户端的本地模型已经过时了，过时的模型可能会降低模型的性能。另外，每个客户端和服务器的模型之间存在着模型延迟，并且，每个客户端的模型延迟受网络环境、设备环境等因素的影响，是不稳定的。由于模型延迟的不稳定性，使得异步更新的准确性大大降低。

发明内容

本发明的多个方面提供一种基于半异步的联邦学习方法、系统、中央服务器以及计算机可读存储介质，其能解决解决现有的同步联邦学习中的掉队效应问题，以及异步联邦学习中模型过时和模型精度不高的问题。

本发明第一方面提供的基于半异步的联邦学习方法，包括：

中央服务器广播其全局模型参数至所有客户端；

每一个所述客户端接收所述全局模型参数，并根据所述全局模型参数和本地数据训练，得到所述客户端的本地模型的更新方向和本地模型的更新时间，并将所述本地模型的更新方向和所述本地模型的更新时间发送给所述中央服务器；