[发明专利]机器异常的处理方法、学习速率的调整方法及装置

权利要求书

1.一种机器异常的处理方法，其特征在于，包括：

获取目标机器的梯度消耗时间，其中，所述梯度消耗时间用于表示所述目标机器在训练过程中消耗的与梯度相关的时间；

判断所述梯度消耗时间与预先获取的消耗时间均值是否满足预定条件，其中，所述消耗时间均值用于表示集群内的除所述目标机器以外的所有机器，在所述训练过程中消耗的与所述梯度相关的时间的平均值；

若所述梯度消耗时间与所述消耗时间均值满足所述预定条件，确定所述目标机器异常；

所述梯度消耗时间包含所述目标机器计算梯度所消耗的第一时间和/或发送所述梯度所消耗的第二时间；所述消耗时间均值包含系统内的除所述目标机器以外的所有机器计算所述梯度所消耗的时间的第一平均值和/或发送所述梯度所消耗的时间的第二平均值。

2.根据权利要求1所述的方法，其特征在于，所述判断所述梯度消耗时间与预先获取的消耗时间均值是否满足预定条件包括：

判断所述第一时间是否大于所述第一平均值与第一预设系数的乘积；其中，若所述第一时间大于所述第一平均值与所述第一预设系数的乘积，则确定所述梯度消耗时间与所述消耗时间均值满足所述预定条件，若所述第一时间小于等于所述第一平均值与所述第一预设系数的乘积，则确定所述梯度消耗时间与所述消耗时间均值不满足所述预定条件；

和/或，

判断所述第二时间是否大于所述第二平均值与第二预设系数的乘积；其中，若所述第二时间大于所述第二平均值与所述第二预设系数的乘积，则确定所述梯度消耗时间与所述消耗时间均值满足所述预定条件，若所述第二时间小于等于所述第二平均值与所述第二预设系数的乘积，则确定所述梯度消耗时间与所述消耗时间均值不满足所述预定条件。

3.根据权利要求1至2中任一项所述的方法，其特征在于，在所述确定所述目标机器异常之后，所述方法还包括：

获取除所述目标机器以外的所有机器计算出的所述梯度；

根据所述梯度，计算所述梯度对应的学习速率；

依据所述学习速率，确定是否执行更新权重操作。

4.根据权利要求3所述的方法，其特征在于，所述根据所述梯度，计算所述梯度对应的学习速率包括：

通过公式Eta(i)＝A×第i维梯度/(B+sqrt(sum(第i维梯度×第i维梯度)))，计算得到所述学习速率，其中，Eta(i)为所述学习速率，A为第一预设系数，B为第二预设系数，所述梯度是由n个所述第i维梯度所组成的向量，n为所述梯度的维度的数量，0i≤n。

5.根据权利要求4所述的方法，其特征在于，所述依据所述学习速率，确定是否执行更新权重操作包括：

判断所述学习速率是否小于预设阈值；

若所述学习速率小于所述预设阈值，停止执行所述更新权重操作；

若所述学习速率大于等于所述预设阈值，执行所述更新权重操作。

6.根据权利要求5所述的方法，其特征在于，所述执行所述更新权重操作包括：

根据所述学习速率、所述梯度以及历史权重，计算更新权重，其中，所述历史权重是指所述训练过程中所述目标机器所使用的权重。

7.根据权利要求6所述的方法，其特征在于，所述根据所述学习速率、所述梯度以及历史权重，计算更新权重包括：

通过以下公式计算得到所述更新权重：

X’＝X+[-Eta(i)×g]，其中，X’为更新权重，X为历史权重，g为梯度。

8.根据权利要求6或7所述的方法，其特征在于，在所述执行更新权重操作之后，所述方法还包括：

将所述更新权重发送至所述目标机器以及除所述目标机器以外的所有机器，以指示所述目标机器以及除所述目标机器以外的所有机器根据所述更新权重进行训练。

9.一种机器异常的处理装置，其特征在于，包括：

第一获取单元，用于获取目标机器的梯度消耗时间，其中，所述梯度消耗时间用于表示所述目标机器在训练过程中消耗的与梯度相关的时间；

判断单元，用于判断所述梯度消耗时间与预先获取的消耗时间均值是否满足预定条件，其中，所述消耗时间均值用于表示集群内的除所述目标机器以外的所有机器，在所述训练过程中消耗的与所述梯度相关的时间的平均值；

检测单元，用于若所述梯度消耗时间与所述消耗时间均值满足所述预定条件，确定所述目标机器异常；

所述梯度消耗时间包含所述目标机器计算梯度所消耗的第一时间和/或发送所述梯度所消耗的第二时间；所述消耗时间均值包含系统内的除所述目标机器以外的所有机器计算所述梯度所消耗的时间的第一平均值和/或发送所述梯度所消耗的时间的第二平均值。