[发明专利]一种大类别深度学习GPU并行加速的方法

说明书

本发明提供一种大类别深度学习GPU并行加速的方法，包括：采用模型并行对深度神经网络结构中的softmax层的模型参数进行训练，每个GPU训练各自的模型分片，各GPU的softmax层之间通过交互模型参数的数据特征，完成深度学习；本发明采用混合式架构，即softmax层之前的所有层级，依然是采用数据并行方式，softmax层采用模型并行方式，突破了大类别深度学习并行运算的瓶颈，克服了在深度神经网络结构中的最后一层全链接层上，进行参数交互的通信成本和花费的通信时间过高的问题，能够在保持原有深度学习效果的同时，大幅度提升模型学习效率，减少GPU占用率。

技术领域

本发明涉及计算机及其应用领域，尤其涉及一种大类别深度学习GPU并行加速的方法。

背景技术

目前，深度学习在几个主要领域都获得了突破性的进展：在语音识别领域，在图像识别领域，在自然语言处理领域。可以说到目前为止，深度学习是最接近人类大脑的智能学习方法。但是深度学习模型参数多，计算量大，训练数据的规模也更大，需要消耗很多计算资源。如果可以让训练加速，工作效率会明显提升，对于大规模的训练数据和模型来说，更可以将难以完成的任务变成可能。

随着GPU的大规模并行架构支持的不断推进，面向通用计算的GPU(General-Purposed GPU,GPGPU)已成为加速可并行应用程序的重要手段。得益于GPU众核(many-core)体系结构，程序在GPU系统上的运行速度相较于单核CPU往往提升几十倍乃至上千倍。利用GPU来训练深度神经网络，可以充分发挥其数以千计计算核心的高效并行计算能力，在使用海量训练数据的场景下，所耗费的时间大幅缩短，占用的服务器也更少。

目前大部分服务器都有8个或更多的GPU。原则上，使用更多的GPU可以大幅度地提升效率，但实现起来有一定困难，处理器之间需要交互大量的数据，并且花费更多的时间进行通信而非计算。传统的深度学习并行方法都是数据并行，将数据划分为几个分片，每个GPU处理其中一份，并且进行参数交互。但对于类别数很多的数据，在深度神经网络结构中的最后一层全链接层上，进行参数交互的通信成本太高，花费的通信时间远高过参数计算的时间，成为大类别深度学习并行运算的瓶颈，因此，需要一种新的技术手段，能够在保持原有深度学习效果的同时，大幅度提升模型学习效率，减少GPU占用率。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种大类别深度学习GPU并行加速的方法，以解决上述技术问题。

本发明提供的一种大类别深度学习GPU并行加速的方法，包括：

采用模型并行对深度神经网络结构中的softmax层的模型参数进行训练；

每个GPU训练各自的模型分片，获取模型参数的数据特征；

各GPU的softmax层之间通过交互模型参数的数据特征，完成深度学习。

进一步，采用混合架构对深度神经网络结构中的模型参数进行训练，所述混合结构包括采用模型并行对深度神经网络结构中的softmax层的模型参数进行训练，采用数据并行对深度神经网络结构中的其他层的模型参数进行训练。

进一步，所述模型并行包括将完整模型划分为若干模型分片，每个模型分片分别在不同的GPU上进行参数训练。

进一步，将深度神经网络结构中的softmax层划分为若干个模型分片，分别在不同的GPU上进行参数训练，每个GPU计算各自的模型分片，并获取对应模型分片的参数数据特征，所述模型分片的数量与GPU的数量一致。

进一步，所述数据并行包括，根据GPU数量对训练数据进行切分，通过不同的GPU对切分后的训练数据分别进行训练，获取训练数据特征组，各GPU之间通过训练数据特征数组进行交互，所述训练数据为传输图像数据。

进一步，每个GPU完成自己的模型分片计算后，将所有GPU上的模型分配组合为一个完整的模型。