[发明专利]一种机器学习方法、主节点、工作节点及系统

权利要求书

1.一种机器学习方法，应用于分布式机器学习系统的主节点，所述主节点对应设置有工作节点，其特征在于，所述方法包括：

开启参数训练进程，确定加入所述参数训练进程的工作节点；

发送所述参数训练进程对应的时间信息至所述工作节点，其中，所述时间信息包括所述参数训练进程的结束时间，以使所述工作节点在所述结束时间前将训练子结果发送至所述主节点；其中，所述将训练子结果发送至所述主节点，具体包括：确定与全局参数对应的全局训练模型以及与所述工作节点对应的个性化模型；将所述全局训练模型与所述个性化模型进行复合，获得复合模型；基于所述复合模型进行参数训练，获得与所述全局训练模型对应的训练子结果以及与所述个性化模型对应的训练子结果；将与所述全局训练模型对应的训练子结果反馈至所述主节点，将所述个性化模型对应的训练子结果保存在本地；

在所述结束时间接收各工作节点反馈的所述全局训练模型对应的训练子结果，基于获得的所述全局训练模型对应的训练子结果，更新全局参数。

2.如权利要求1所述的方法，其特征在于，所述确定加入所述参数训练进程的工作节点，包括：

获取申请加入所述参数训练进程的工作节点的资源占用信息；

在所述资源占用信息满足预设条件时，确定所述申请加入所述参数训练进程的工作节点为加入所述参数训练进程的工作节点。

3.如权利要求1所述的方法，其特征在于，在所述发送所述参数训练进程对应的时间信息至所述工作节点时，所述方法还包括：

获取所述工作节点存储的第一全局参数的第一标识信息；

基于所述第一标识信息与本地存储的全局参数的第二标识信息，确定所述第一全局参数与所述全局参数的第一差异部分；

发送所述第一差异部分至所述工作节点，以使得所述工作节点基于所述第一差异部分和所述第一全局参数，还原出所述全局参数，并基于所述全局参数进行参数训练。

4.如权利要求3所述的方法，其特征在于，所述训练子结果为参加所述参数训练进程的工作节点基于所述全局参数进行参数训练获得训练结果参数后发送的所述训练结果参数与所述全局参数的第二差异部分。

5.如权利要求1所述的方法，其特征在于，在所述更新全局参数之后，所述方法还包括：

判断更新后的全局参数是否达到收敛；

如果否，在预设时间间隔后重新开启参数训练进程。

6.一种机器学习方法，应用于分布式机器学习系统的工作节点，所述工作节点对应设置有主节点，其特征在于，所述方法包括：

在接收到所述主节点确定所述工作节点加入参数训练进程的通知后，获得所述主节点发送的与所述参数训练进程对应的时间信息，其中，所述时间信息包括所述参数训练进程的结束时间；

在所述时间信息指示的时间范围内，确定与全局参数对应的全局训练模型以及与所述工作节点对应的个性化模型；将所述全局训练模型与所述个性化模型进行复合，获得复合模型；基于所述复合模型进行参数训练；

如果在所述结束时间之前还未完成训练，在所述结束时间结束训练，获得训练子结果，将所述训练子结果反馈至所述主节点；

如果在所述结束时间之前完成训练，且完成训练的时间距所述结束时间的时间间隔大于预设值，控制所述工作节点重复进行训练，基于重复训练得到的子结果，确定所述训练子结果，将所述训练子结果反馈至所述主节点；

其中，基于所述复合模型进行参数训练，包括：

基于所述复合模型进行参数训练，获得与所述全局训练模型对应的训练子结果以及与所述个性化模型对应的训练子结果；

所述获得训练子结果，将所述训练子结果反馈至所述主节点，包括：

将与所述全局训练模型对应的训练子结果反馈至所述主节点，将与所述个性化模型对应的训练子结果保存在本地存储。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

发送申请加入所述参数训练进程的申请信息至所述主节点，所述申请信息包括所述工作节点的资源占用信息。