[发明专利]机器异常的处理方法、学习速率的调整方法及装置

说明书

本申请公开了一种机器异常的处理方法、学习速率的调整方法及装置。其中，该方法包括：获取目标机器的梯度消耗时间，其中，所述梯度消耗时间用于表示所述目标机器在训练过程中消耗的与梯度相关的时间；判断所述梯度消耗时间与预先获取的消耗时间均值是否满足预定条件，其中，所述消耗时间均值用于表示集群内的除所述目标机器以外的所有机器，在所述训练过程中消耗的与所述梯度相关的时间的平均值；若所述梯度消耗时间与所述消耗时间均值满足所述预定条件，确定所述目标机器异常。本申请解决了由于集群中部分机器计算或通信速度较慢造成的训练成本较高的技术问题。

技术领域

本申请涉及互联网领域，具体而言，涉及一种机器异常的处理方法、学习速率的调整方法及装置。

背景技术

互联网公司都拥有大量用户行为数据,通常都是通过机器学习的方法从这些数据中挖掘出有用的信息,比如用户偏好等,通过挖掘出这些信息,来提升用户体验及互联网公司收入。

机器学习的核心做法，便是求解损失函数的最小值(损失函数是一种衡量损失和错误程度的函数，以搜索广告为例,也就是说,损失函数越小,那么用户越有可能点击搜索广告)。梯度下降方法(梯度，是个向量，是损失函数对权重的导数)作为机器学习中使用最为广泛的求解损失函数最小值的方法，由于其实现简单，能够快速计算，被大量使用在各种优化问题上。学习速率(通常用Eta表示)作为权重更新(权重，是个向量，可以理解成损失函数的自变量)的重要参数，会影响训练过程的收敛。Eta如果太大，那么每轮迭代走的太远，容易错过最优解；Eta如果太小，那就走的太慢，影响收敛速度。

目前，在进行这种大规模的机器学习求解问题时,都是在集群上进行训练，集群环境里面包含多个机器。然而，始终会有机器在不同时间点负载不一样,有些机器运算速度比较快,有些机器通信负担轻从而通信效率高,但也有很多机器,负载很高从而计算非常慢,部分机器也可能因为低配置原因,通信速度非常慢,从而使得整个训练过程非常慢,使用大量的机器资源，导致巨大的财务成本(例如，训练1个用户偏好,需要800台机器,一台机器1小时成本假设是C,那么一共训练T小时，成本是800×C×T,若C大于1000，T大于100，那么一次成功训练的成本至少是800万，如果训练过程中失败，又要重新开始，那么成本更加大)。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种机器异常的处理方法、学习速率的调整方法及装置，以至少解决由于集群中部分机器计算或通信速度较慢造成的训练成本较高的技术问题。

根据本申请实施例的一个方面，提供了一种机器异常的处理方法，包括：获取目标机器的梯度消耗时间，其中，所述梯度消耗时间用于表示所述目标机器在训练过程中消耗的与梯度相关的时间；判断所述梯度消耗时间与预先获取的消耗时间均值是否满足预定条件，其中，所述消耗时间均值用于表示集群内的除所述目标机器以外的所有机器，在所述训练过程中消耗的与所述梯度相关的时间的平均值；若所述梯度消耗时间与所述消耗时间均值满足所述预定条件，确定所述目标机器异常。

根据本申请实施例的另一方面，还提供了一种学习速率的调整方法，包括：获取目标机器计算出的梯度；根据所述梯度，计算所述梯度对应的学习速率；判断所述学习速率是否小于预设阈值；若所述学习速率小于所述预设阈值，停止执行更新权重操作；若所述学习速率大于等于所述预设阈值，执行所述更新权重操作。

根据本申请实施例的另一方面，还提供了一种机器异常的处理装置，包括：第一获取单元，用于获取目标机器的梯度消耗时间，其中，所述梯度消耗时间用于表示所述目标机器在训练过程中消耗的与梯度相关的时间；判断单元，用于判断所述梯度消耗时间与预先获取的消耗时间均值是否满足预定条件，其中，所述消耗时间均值用于表示集群内的除所述目标机器以外的所有机器，在所述训练过程中消耗的与所述梯度相关的时间的平均值；检测单元，用于若所述梯度消耗时间与所述消耗时间均值满足所述预定条件，确定所述目标机器异常。