[发明专利]分布式数据处理系统及其方法

说明书

本发明公开了一种分布式数据处理系统，用于在所述多个计算设备上对数据进行并行处理，每个计算设备包含前向数据处理组件和后向数据处理组件，其中至少一个计算设备含有其他计算设备不具有的一个模型参数组件以及与一个所述模型参数组件对应的模型参数更新组件，所述模型参数组件通过与其对应的广播组件将其含有的一组将被并行处理的数据所使用的模型参数输入到其他计算设备的广播组件，以及所述模型参数更新组件从与其对应的梯度汇聚组件获取对应的全局梯度值进行更新处理。

本申请是申请日为2020年07月24日，国家申请号为202010724559.4的、名称为“分布式数据处理系统、分布式计算任务的部署系统及其方法”的发明专利申请的分案申请。

技术领域

本公开涉及一种数据处理技术，更具体地说，本公开涉及一种分布式数据处理系统、分布式计算任务的部署系统及其方法。

背景技术

随着机器学习的发展以及人工神经网络的研究的逐步深入，深度学习的概念得到广泛的关注和应用。深度学习是一种特殊的机器学习，它采用网状层级结构来表达所学习的对象，通过简单概念来组合成抽象概念，通过简单概念计算来实现抽象的概念表达。目前，深度学习在图像识别、语音识别以及自然语言处理领域有了长足的进展。深度学习涉及的模型参数多，导致计算量巨大，而且训练数据的规模大，因此需要消耗较多的计算资源等特点。

当前，无论是通用处理器GPU还是专用芯片TPU相对于CPU都强大了许多倍，但现实应用对计算力的渴求是无止境的，从业者需要以更快的速度，以更大规模的模型处理更大规模的数据，这单靠一个硬件设备无法满足。硬件的发展要受限于制造工艺(芯片面积，功耗，时钟信号传播范围)的限制，不可能无限制的提高一颗芯片的处理能力。因此，人们常常通过高速互联技术把多个高通量的设备连接在一起，协同完成大规模任务。一种常见的GPU集群架构，同一个节点(服务器)内部的GPU通过NVLink或者PCIe通信，多个节点通过高速以太网或者无限带宽(Infiniband)互联。Google内部TPU Cloud的硬件部署中每个服务器管理若干个TPU，多个服务器通过高速互联技术连成大规模集群。

为此，本领域技术人员提出了数据并行。这样把数据分成多份，每个设备处理一份，这样每个设备只需要处理整体数据的一小部分即可，系统运行时间从一个设备处理所有数据需要的时间降低到一个设备处理一小部分数据需要的时间，从而得到加速，这是大数据场景最常见的并行方式。数据并行特别适合卷积神经网络这种场景，卷积神经网络的模型由很多小的卷积核构成，模型体积小，从而设备间同步模型梯度时通信量较小。当前，所有框架都能很好的支持这种并行模式。

但是，现有的数据并行处理在进行分布式深度学习训练时，在将一个批次的数据分割放置在各个计算设备上进行计算，即每个计算设备使用不同的输入数据执行相同的计算流程时，还需要将模型参数镜像的放置在各个计算设备上，并将每个设备计算出的梯度进行聚合，更新参数。目前最主流的梯度聚合方式是AllReduce，即将每个计算设备上产生的梯度Reduce到一起再Broadcast到每个计算设备上去，每个计算设备得到相同的聚合后的梯度，再进行参数更新。注意这种情况下，每个计算设备上面执行的参数更新计算将是完全相同的，所以更新后每个计算设备上面的参数也将继续保存一致。与维护模型参数对应，还需要维护更新组件(Optimizer)的参数用于模型参数更新，比如Adam Optimizer需要维护数据量和模型参数相同的两个参数m与v，加上梯度，Adam进行参数更新时一共会涉及到4倍于模型参数大小的内存(模型参数，梯度，梯度的一阶矩(m)，梯度的一阶矩(v))，这种情况下假如使用N个计算设备进行数据并行训练，那么参数更新部分的计算将重复N次，同时将需要N×4×模型大小的设备内存完成参数更新。训练深度学习模型时，一个设备上的前向和后向计算可以独立开展，但每个模型上获得模型的更新梯度后需要在设备间同步，聚合成完整的一个批次数据的梯度之后再做模型参数更新。