[发明专利]一种用于分布式训练计算阶段的自动优化方法

说明书

本发明提供一种用于分布式训练计算阶段的自动优化方法，所述方法包括在分布式训练的每个回合执行如下步骤：S1、以预设的最小单位负载为粒度，计算当前回合中参与分布式训练的所有节点的计算性能；S2、以计算性能最差的节点计算其对应的最大允许负载数的完成时间为限制时间，分别计算每个节点在限制时间内能够完成计算的最大负载数，以所有节点在限制时间内对应的能够完成计算的最大负载数组成负载分配策略；S3、以步骤S2中负载分配策略，分配下一回合每个计算节点的负载。其中，节点的计算性能是该节点完成预设最小单位负载计算的时间。

技术领域

本发明涉及人工智能领域，具体来说，涉及应用于深度神经网络的分布式训练系统领域，更具体地说，涉及深度神经网络分布式训练过程中的计算阶段，即一种用于分布式训练计算阶段的自动优化方法。

背景技术

近年来，DNN(Deep Neural Network深度神经网络)发展迅速，其在计算机视觉、自然语言处理等方面不断取得进展，但是问题也随之产生：一方面，随着ResNet的残差连接等解决梯度消失问题的理论方法的提出，DNN的深度不断增加。为了追求更高的精度，会尝试用更深的层次结构以及更多的参数，这就导致了模型的大小不断增加；另一方面，由于网络信息时代数据的爆炸性增长，可用于训练的数据迅速增加，若能让DNN用更多的输入数据进行训练,更有希望能取得更好的精度。所以，DNN模型大小以及输入数据规模不断变大，导致对算力的需求也更加急迫。

为了降低DNN训练的时间开销，分布式训练方案被提出。分布式训练方法使用大量计算节点，从而可以更快速地进行实验与部署DNN。分布式训练更集中于保证其可扩展性，希望每增加一个计算节点，其性能能够对应的线性增加。通过合理划分数据集，让每个节点得到属于自己的部分数据集，从而可以将输入数据和模型都存于内存中，避免了内存与硬盘间频繁搬运数据带来的能耗与时间开销，再加上随着计算部件的倍增，其单位时间所能完成的计算量也是成倍增长，所以近年来分布式训练在大数据训练上取得了非常不错的成绩。目前的分布式训练主要分为同步分布式训练和异步分布式训练。异步分布式训练由于有可能出现不收敛的情况且其到收敛阶段所需的时间也比同步训练的长，故而应用不如同步分布训练广泛。同步分布式训练分成两个阶段：计算阶段与同步阶段。在计算阶段，各节点取一部分输入数据集的数据，在DNN模型上完成前向传播与反向传播，得到DNN反向传播的梯度(gradients)；在同步阶段，统一进行同步操作，得到梯度的和，并更新模型的参数(weights)，然后继续下一轮的计算。目前应用最广泛的同步训练算法为Worker-Agg(Worker-Aggregator)、HD(Halving-Doubling)和Ring。

Worker-Agg存在关键节点Agg，为一对多的通讯模式，所以容易出现堵塞情况，可扩展性不好，Allreduce算法HD与Ring可扩展性好，但是又由于HD与Ring算法的同步阶段为所有节点一起同步完成，由于“木桶短板”效应，单节点的低性能会拖累整体的性能，所以要求各个计算节点在计算性能上要相近，否则意味着浪费了高性能节点的能力。然而在现实生活中，保证各节点计算能力相近是困难的，其主要原因包括：首先，目前市场上的加速卡多种多样，比如GPU/CPU/TPU等，即使是同一个公司产品，也不断在更新换代，不同代GPU性能差距在1.4x-1.8x往上，而且由于硬件更替，常常出现计算平台中有不同代产品共存的情况。其次，就算所用的加速卡一样，现实使用中，基本也不会存在只跑一个线程的情况，往往是多个负载共存，资源的竞争导致其能力波动，这类网络不平衡现象，影响计算阶段，导致整体性能受损。

由此可见，解决网络不平衡现象对计算阶段的影响是提高分布式训练性能的一个关键。

发明内容

因此，为了达到上述目的，本发明提供一种能够解决网络不平衡现象对分布式训练计算阶段的影响的计算阶段优化方法。