[发明专利]一种面向异构集群加速分布式训练的方法及系统

说明书

本发明公开了一种面向异构集群加速分布式训练的方法及系统，包括：收集所有计算节点的性能数据，并对所需训练数据进行动态分配；对局部iteration更新次数进行分配，使得所有计算节点在近乎相同的时间点完成任务；采用深度强化学习策略缩减所述训练数据的训练时间，并将梯度数据上传至参数服务器；循环迭代，直至训练epoch达到设定值。通过数据动态分配模块、负载均衡模块以及屏障控制模块的协同工作减少每一轮用于等待掉队节点的时间开销，提高集群计算资源利用率，对整个训练过程实现加速并保证不降低最终的模型精度。

技术领域

本发明涉及分布式计算领域和深度学习领域，尤其涉及一种面向异构集群加速分布式训练的方法及系统。

背景技术

近年来深度学习已经广泛应用于许多现实世界的问题，从计算机视觉到自然语言处理。然而，深度神经网络的训练非常耗时，特别是在大型模型和大数据上，单台机器在大型数据集上训练大型模型已经变得困难。在大数据浪潮的推动下，从2005年至今训练数据增长了至少六十倍，例如，ImageNet数据集包含1400万张图像，涵盖2万多个类别。于此同时深度神经网络模型的复杂度也随之呈现爆炸式的增长，例如Open-AI最新提出的语言模型GPT-3含有1300亿参数，训练一个GPT-3模型需要“355个GPU年”(一块GPU运行355年的运算量)，光是训练费用就高达460万美元，在一颗NVIDIA M40 GPU上用ResNet-50训练ImageNet需要14天，如果用一个串行程序在单核CPU上训练可能需要几十年才能完成，故而通常采用分布式集群进行训练。集群中有两种不同的角色，一是参数服务器，其作用主要为收集计算节点的梯度信息执行聚合操作，二是计算节点，其作用是用于训练神经网络，把计算得到的梯度信息上传到参数服务器上。一般一轮迭代的流程是：1)计算节点从参数服务器上下载最新的参数至本地；2)计算节点使用最新的参数计算梯度数据；3)计算节点将梯度数据上传到参数服务器，参数服务器等待所有计算节点上传完毕后聚合梯度数据并更新模型。

然而，现实世界中的大多数集群都包含不同时代和类型的GPU(图形处理器)和CPU(中央处理器)，具有不同的计算能力，在异构环境中，速度较慢GPU的计算节点很容易成为掉队者，导致在每一轮迭代中都需要花费很长的时间等待这些掉队者，从而导致计算资源利用率低下，训练加速效果不尽人意，训练效率远低于理想状态下的同构训练环境。针对此问题，本发明提出了一种基于负载均衡的自适应训练方法，提高计算资源利用率并加速训练。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的技术问题是：在异构环境中，速度较慢GPU的计算节点很容易成为掉队者，导致在每一轮迭代中都需要花费很长的时间等待这些掉队者，从而导致计算资源利用率低下，训练加速效果不理想的问题。

为解决上述技术问题，本发明提供如下技术方案：收集所有计算节点的性能数据，并对所需训练数据进行动态分配；对局部iteration更新次数进行分配，使得所有计算节点在近乎相同的时间点完成任务；采用深度强化学习策略缩减所述训练数据的训练时间，并将梯度数据上传至参数服务器；循环迭代，直至训练epoch达到设定值。

作为本发明所述的面向异构集群加速分布式训练的方法的一种优选方案，其中：所述对所需训练数据进行动态分配包括，

构建异构分布式GPU服务器，并采用参数服务器架构进行网络通信；

采用每秒可计算样本数量对所述所有计算节点的性能数据进行量化指标；

根据性能按照比例对所述性能数据进行数据切分。

作为本发明所述的面向异构集群加速分布式训练的方法的一种优选方案，其中：包括，