[发明专利]基于滑动窗口采样的分布式机器学习训练方法及其系统

摘要

本发明提供一种基于滑动窗口采样的分布式机器学习训练方法及其系统，所述方法包括机器学习模型参数初始化；获取所有数据的一个数据分片，独立进行模型训练；收集历史的若干轮梯度过期程度样本，通过滑动采样样本，并计算梯度过期程度上下文值，调整学习率后发起梯度更新请求；异步收集多个梯度过期程度样本，利用调整后的学习率更新全局模型参数并推送更新的参数；异步获取推送的全局参数更新，继续下一次训练；检验模型收敛性，若不收敛，进行模型训练循环；若收敛，获取模型参数。本发明使用过期梯度上下文来控制学习器的学习率，提高了分布式训练的稳定性与收敛效果，减小了分布式系统带来的训练波动，提高了分布式训练的鲁棒性。

主权项

一种基于滑动窗口采样的分布式机器学习训练方法，其特征在于，包括以下步骤：步骤1)，机器学习模型参数初始化；步骤2)，获取所有数据的一个数据分片，独立进行模型训练；步骤3)，收集历史的若干轮梯度过期程度样本，通过滑动采样样本，并计算梯度过期程度上下文值，调整学习率后发起梯度更新请求；步骤4)，异步收集多个梯度过期程度样本，利用调整后的学习率更新全局模型参数并推送更新的参数；步骤5)，异步获取推送的全局参数更新，继续下一次训练；步骤6)，检验模型收敛性，若不收敛，进入所述步骤2)循环；若收敛，进入步骤7)；步骤7)，获取模型参数。