[发明专利]一种用于在集群环境下进行机器学习的训练方法和系统

说明书

本发明提供一种用于在集群环境下进行机器学习的训练方法，包括：1)根据集群环境中计算节点的数量，将训练集中的数据分割为用于供各个计算节点并行地执行训练操作的多个部分；2)利用集群环境中的各个计算节点对所分配的数据集的部分进行训练，使得各个计算节点并行地训练一个机器学习模型；3)对各个计算节点的处理结果进行加权平均，所述计算节点中的每一个的权重被设置为，使得对于所述集群环境中的各个节点的方差和/或均值的衰减速度一致或彼此接近。

技术领域

本发明涉及在集群环境下进行机器学习的训练，尤其涉及利用负载不均衡的集群环境进行机器学习的训练方法和系统。

背景技术

随着机器学习以及人工智能技术的发展，完成应用场景的任务所需的计算量急剧增长，为了提高运算速度，需要以大量的硬件设备以并行的方式对数据进行处理。在实际使用硬件设备来实现机器学习的训练过程时，通常会在集群环境下，利用集群所包含的大量的计算节点并行地执行计算，通过反复地迭代计算以获得趋近于训练目标时所对应的机器模型的参数或者计算结果。

许多使用者往往会根据需要执行的任务的计算量、以及硬件设备的计算能力，来购置硬件产品。由于硬件产品的更新速度非常快，所以使用者在相对较长的一段时间内分为多次采购了具有不同计算能力的不同批次的CPU、GPU的情况非常普遍。而在本领域中，通常认为不宜将具有不同计算能力的不同批次的硬件作为同属于一个集群的计算节点来并行地完成同一个计算任务。这是由于一方面，在并行处理过程中，计算的耗时取决于处理速度最慢的计算节点，若是将具有不同计算能力的硬件作为计算节点混合使用，则无法享受具有更高计算能力的硬件所带来的计算优势。另一方面，在一个集群中采用不同硬件也不便于统一的管理。基于这两方面因素的考虑，使得本领域中一般仅采用具有相同或相近处理能力的硬件来作为一个集群以由集群中的各个节点并行的进行机器学习的迭代计算。

然而，对于分为多次采购了具有不同计算能力的硬件设备的使用者而言，不能利用不同批次的硬件进行计算，这从使用成本上考虑是非常不经济的。在需要提高整体的计算能力时，需要重新购置具有更强计算能力的硬件或者需要寻找与已购置的硬件具有相同或相似计算能力的新的硬件。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种用于在集群环境下进行机器学习的训练方法，包括：

1)根据集群环境中计算节点的数量，将训练集中的数据分割为用于供各个计算节点并行地执行训练操作的多个部分；

2)利用集群环境中的各个计算节点对所分配的数据集的部分进行训练，使得各个计算节点并行地训练一个机器学习模型；

3)对各个计算节点的处理结果进行加权平均，所述计算节点中的每一个的权重被设置为，使得对于所述集群环境中的各个节点的方差和/或均值的衰减程度的一致或彼此接近。

优选地，根据所述方法，其中所述计算节点中的每一个的权重被设置为，取决于所述计算节点在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值的指数。

优选地，根据所述方法，其中，若进行机器学习的训练所使用的损失函数属于非强凸函数，则将计算节点i的权重设置为：

其中，λ是正则系数，η是步长，各个计算节点的编号范围为1...k，T_i是计算节点i在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值。

优选地，根据所述方法，其中对于所述损失函数为非强凸函数，计算节点的数量k、正则系数λ、步长η、以及计算节点i在单位时间内所能处理的数据量与所述集群环境中计算速度最快的计算节点在单位时间内能够处理的数据量之间的差值T_i，被选择为满足表达式：