[发明专利]一种面向神经网络的数据并行处理方法及系统

摘要

本发明公开一种面向神经网络的数据并行处理方法及系统，涉及神经网络领域，能够解决训练循环神经网络困难、效率低的问题。所述方法包括：对各GPU利用并行初始化函数进行初始化；将用于初始化神经网络的模型初始化函数写入并行初始化函数为各GPU建立的输入管道；将训练数据按照GPU数量均分为训练数据块，并将各训练数据块和内部训练函数分别写入各GPU的输入管道中；各GPU的内部训练函数对分配至自身的训练数据块进行同步训练，得到各网络参数组的梯度值；计算所有GPU中对应神经网络同一层的网络参数组的平均梯度值；各GPU根据同一层的网络参数组的平均梯度值更新相应的网络参数。本发明尤其适用于循环神经网络的数据处理。

主权项

1.一种面向神经网络的数据并行处理方法，其特征在于，包括：对每个图形处理器GPU利用并行初始化函数进行初始化，其中，所述并行初始化函数用于为每个GPU建立一个输入管道、一个输出管道和启动一个子进程，所述子进程循环从所述输入管道中读取要执行的函数名及函数参数值，并将读取的函数参数值代入所述函数名所表示的函数中进行执行，最后将执行结果写入所述输出管道；将用于初始化神经网络的模型初始化函数写入每个GPU输入管道；将载入的训练数据按照GPU数量均分为训练数据块，并将均分后的训练数据块和内部训练函数分别写入每个GPU的输入管道中；所述内部训练函数包含前向传播函数和反向传播函数；各个GPU的内部训练函数对分配至各个GPU上的训练数据块进行同步训练，计算当前神经网络的各网络参数组的梯度值；其中，所述神经网络具有多层，每层对应一网络参数组，每一网络参数组中包括多个网络参数；计算所有GPU中的同一层的网络参数组的平均梯度值；每个GPU根据所述同一层的网络参数组的平均梯度值更新所述同一层的网络参数组中的网络参数。