[发明专利]参数服务器的同步方法、系统及可读存储介质

说明书

本发明涉及分布式机器自动学习技术领域，公开了一种参数服务器的同步方法、系统及可读存储介质，该方法包括确定用户上传的数据的通讯时间、执行时间以及等待时间；基于所述通讯时间、所述执行时间以及所述等待时间确定迭代完成时间；根据迭代完成时间确定目标同步点；根据所述目标同步点确定是否需要执行同步操作，在确定为需要执行同步操作的情况下，执行所述同步通知对应的同步操作。既可以减少模型的训练时间，又可以保证模型质量。

技术领域

本发明涉及分布式机器自动学习技术领域，尤其涉及一种参数服务器的同步方法、系统及可读存储介质。

背景技术

随着互联网技术的迅速发展，机器学习成为一种主流的智能数据处理技术，当数据规模扩大时，机器学习的训练时间将大大增加。大数据为传统机器学习技术带来了新的挑战。分布式机器学习系统在一组机器中对大规模机器学习模型进行并行训练。面向大规模分布式机器学习，常用的并行计算模型包括批量同步并行(Bulk SynchronousParallel，BSP)、异步并行(Asynchronous Parallel,ASP)和陈旧并行方案(StaleSynchronous Parallel，SSP)三类。

理想情况下，为了确保高质量的模型参数更新，训练过程中每个节点都应使用最新的模型参数进行计算。BSP模型中worker在每次迭代结束时同步模型参数，所有worker在更新模型参数之前不再继续下一次迭代，最大程度地保证了高质量参数更新。但不同计算节点的实际性能各有差异，执行过程中任务失败再所难免，BSP模型下整个计算进度由最慢的计算节点决定，即慢机(Straggler)现象。该现象出现原因有两个：一是由集群节点本身硬件性能差异造成；二是由于如网络拥塞、节点被其他任务占用等外部因素造成。这种由外部因素造成的慢机现象也称为瞬时落后。在真实云环境下，节点宕机情况经常出现，BSP方案在宕机的情况下会出现整个训练无法推进。当节点数量大时，同步所需的时间更多，使集群资源利用率降低，BSP的高同步开销使之不适于解决大型机器学习实际应用环境。ASP中worker在迭代完成时异步更新模型参数，使更新速率最大化。在许多机器学习问题中ASP具有比BSP更快的收敛速度，是一种硬件利用率最高的分布式机器学习方案。然而，由于缺乏同步，ASP计算过程中经常使用陈旧参数从而产生训练结果震荡，即慢速worker的参数在上传过程中掩盖部分之前的快速worker的更新结果，使得参数更新无用甚至需要更多的迭代次数来收敛，破坏了学习性能，不能满足对学习模型的质量要求。对于SSP模型，为了保证更新质量和优化训练更新速率设计了一种折衷方案，worker只有在参数的陈旧性(如最快节点与最慢节点的Clock差值)超过某个阈值时才进行同步，是当前较具优势的并行计算模型。在SSP下，当节点性能比较接近的情况下，最快节点与最慢节点达到阈值的概率很小，该方案易失效。即使由技术人员通过分析设定一个合适的阈值，仍然无法应对现实环境中节点性能的变化。

可见，如何通过参数同步降低模型的训练速度，成为一个急需解决的技术问题。

发明内容

本发明提供了一种参数服务器的同步方法、系统及可读存储介质，以通过参数同步降低模型的训练速度。

为了实现上述目的，本发明通过如下的技术方案来实现：

第一方面，本发明提供一种参数服务器的同步方法，应用于服务器，所述方法包括：

确定用户上传的数据的通讯时间、执行时间以及等待时间；

基于所述通讯时间、所述执行时间以及所述等待时间确定迭代完成时间；

根据迭代完成时间确定目标同步点；

根据所述目标同步点确定是否需要执行同步操作，在确定为需要执行同步操作的情况下，执行所述同步通知对应的同步操作。

可选地，所述基于所述通讯时间、所述第一执行时间以及所述等待时间确定迭代完成时间t_i，其中，迭代完成时间t_i满足如下关系式：