[发明专利]基于图形处理器的数据处理方法和装置

说明书

本发明提出一种基于图形处理器的数据处理方法和装置。其中，该数据处理方法包括：在中央处理器CPU内创建用于分别控制图形处理器GPU的第一线程和第二线程，其中，所述第一线程用于调用双向LSTM算法的前向层Kernel序列，所述第二线程用于调用双向LSTM算法的反向层Kernel序列；通过所述第一线程和所述第二线程控制所述GPU进行并行数据处理。本发明实施例的数据处理方法，有效的提高了GPU的执行效率，缩短了LSTM的计算过程的执行时间。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于图形处理器的数据处理方法和装置。

背景技术

长短期记忆人工神经网络(Long-Short Term Memory,LSTM)是一种时间递归神经网络，适于处理和预测时间序列中间隔和延迟非常长的重要事件。双向LSTM从历史和未来两个方向学习输入特征，具有更高的识别精度，然而双向LSTM引入了更大的计算量，增大了模型训练的时间。

当前，GPU(Graphics Processing Unit，图形处理器)已经成为深度学习平台广泛使用的加速部件，支持GPU加速计算典型的深度学习平台有MXNet、Kaldi、TensorFlow、Nervana等。其中，MXNet、Kaldi、TensorFlow都提供了双向LSTM的算法实现，其GPU线性代数库大多采用NVidia提供的cuBLAS库。而与前三者不同的是，Nervana的目的是构建一套跨平台的线性代数库。

然而，目前存在的问题是，采用逐帧递推方式的双向LSTM的算法包含大量细粒度计算过程，而GPU在细粒度计算中难以充分发挥其海量计算资源优势，而且GPU的调用具有不可忽略的运行开销，因此存在GPU利用率低的问题。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于图形处理器的数据处理方法，该数据处理方法有效的提高了GPU的执行效率，缩短了LSTM的计算过程的执行时间。

本发明的第二个目的在于提出一种基于图形处理器的数据处理装置。

为达上述目的，本发明第一方面实施例提出了一种基于图形处理器的数据处理方法，包括：在中央处理器CPU内创建用于分别控制图形处理器GPU的第一线程和第二线程，其中，所述第一线程用于调用双向LSTM的前向层Kernel序列，所述第二线程用于调用双向LSTM算法的反向层Kernel序列；通过所述第一线程和所述第二线程控制所述GPU进行并行数据处理。

本发明实施例的基于图形处理器的数据处理方法，通过将双向LSTM的前向层和反向层的计算过程分派在GPU的两条数据流中，结合GPU体系的结构特点对双向LSTM的计算过程进行加速优化，从而有效的提高了GPU的执行效率，缩短了LSTM的计算过程的执行时间。

为达上述目的，本发明第二方面实施例提出了一种基于图形处理器的数据处理装置，包括：创建模块，用于在中央处理器CPU内创建用于分别控制图形处理器GPU的第一线程和第二线程，其中，所述第一线程用于调用双向LSTM的前向层Kernel序列，所述第二线程用于调用双向LSTM算法的反向层Kernel序列；第一处理模块，用于通过所述第一线程和所述第二线程控制所述GPU进行并行数据处理。

本发明实施例的基于图形处理器的数据处理装置，通过将双向LSTM的前向层和反向层的计算过程分派在GPU的两条数据流中，结合GPU体系的结构特点对双向LSTM的计算过程进行加速优化，从而有效的提高了GPU的执行效率，缩短了LSTM的计算过程的执行时间。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明