[发明专利]一种分布式训练方法、装置、设备及系统

权利要求书

1.一种分布式训练方法，其特征在于，应用于分布式训练系统中的管理设备，所述分布式训练系统还包括多台节点，所述方法包括：

在节点执行训练任务的过程中，若可用节点的数量发生变化，则根据变化后的可用节点的数量，对训练参数进行调整；其中，所述可用节点为：可参与执行所述训练任务的节点；所述训练参数为：节点执行训练任务的参数；其中，所述训练任务为利用训练数据得到神经网络的任务，所述训练数据为图像；所述训练参数包括：批处理数据量、学习率和最大迭代次数中的至少一个；

将调整后的训练参数发送至每台可用节点，以使每台可用节点根据所述调整后的训练参数继续执行所述训练任务。

2.根据权利要求1所述的方法，其特征在于，所述训练参数包括：批处理数据量；所述根据变化后的可用节点的数量，对训练参数进行调整，包括：

若可用节点的数量增加，则将批处理数据量调大；

若可用节点的数量减少，则将批处理数据量调小。

3.根据权利要求2所述的方法，其特征在于，所述若可用节点的数量增加，则将批处理数据量调大，包括：

若可用节点的数量增加，则计算预设单台节点单次处理量与增加后的可用节点的数量的乘积，作为第一乘积；将批处理数据量调整为所述第一乘积；

所述若可用节点的数量减少，则将批处理数据量调小，包括：

若可用节点的数量减少，则计算预设单台节点单次处理量与增加后的可用节点的数量的乘积，作为第二乘积；将批处理数据量调整为所述第二乘积。

4.根据权利要求1所述的方法，其特征在于，所述训练参数包括：学习率；所述根据变化后的可用节点的数量，对训练参数进行调整，包括：

若可用节点的数量增加，则将学习率调大；

若可用节点的数量减少，则将学习率调小。

5.根据权利要求2所述的方法，其特征在于，所述训练参数还包括：学习率；所述根据变化后的可用节点的数量，对训练参数进行调整，还包括：

根据所述批处理数据量的调整幅度，对学习率进行调整。

6.根据权利要求1所述的方法，其特征在于，所述训练参数包括：最大迭代次数；所述根据变化后的可用节点的数量，对训练参数进行调整，包括：

若可用节点的数量增加，则将最大迭代次数调小；

若可用节点的数量减少，则将最大迭代次数调大。

7.根据权利要求3所述的方法，其特征在于，所述训练参数还包括：最大迭代次数；在所述将批处理数据量调整为所述第一乘积之后，还包括：

计算所述训练任务的剩余数据量与所述第一乘积的比值，作为第一比值；其中，所述剩余数据量＝总数据量-已训练数据量；

将最大迭代次数调整为所述第一比值；

在所述将批处理数据量调整为所述第二乘积之后，还包括：

计算所述训练任务的剩余数据量与所述第二乘积的比值，作为第二比值；将最大迭代次数调整为所述第二比值。

8.一种分布式训练装置，其特征在于，应用于分布式训练系统中的管理设备，所述分布式训练系统还包括多台节点，所述装置包括：

检测模块，用于在节点执行训练任务的过程中，检测可用节点的数量是否发生变化，若发生变化，则触发调整模块；其中，所述可用节点为：可参与执行所述训练任务的节点；其中，所述训练任务为利用训练数据得到神经网络的任务，所述训练数据为图像；

调整模块，用于根据变化后的可用节点的数量，对训练参数进行调整；其中，所述训练参数为：节点执行训练任务的参数；所述训练参数包括：批处理数据量、学习率和最大迭代次数中的至少一个；

发送模块，用于将所述调整模块调整后的训练参数发送至每台可用节点，以使每台可用节点根据所述调整后的训练参数继续执行所述训练任务。

9.根据权利要求8所述的装置，其特征在于，所述训练参数包括：批处理数据量；所述调整模块，具体用于：

若可用节点的数量增加，则将批处理数据量调大；

若可用节点的数量减少，则将批处理数据量调小。