[发明专利]深度神经网络模型并行的全连接层数据交换方法及系统

说明书

本发明公开了一种深度神经网络模型并行的全连接层数据交换方法及系统，将深度神经网络的全连接层按神经元的数目均匀划分到N个训练单元上，形成一种在深度神经网络中全连接层模型并行的网络模型；在全连接层的前向传播过程中，采用半停等前向传播方法对前层的输入数据，采取部分到达、部分计算、整体输出和整体传播的处理方式；在全连接层的后向传播过程中，采用定停等后向传播方法对后层的残差数据，采取定量达到、定量计算和定量传播的处理方式；在一次前向与后向传播完成后，依据所求的权值梯度与阈值梯度，并行地更新各层的权值数据与阈值数据。能够将全连接层的数据通信与数据计算进行重叠，在保证正确率的前提下加速模型的收敛。

技术领域

本发明属于深度学习技术领域，更具体地，涉及一种深度神经网络中对针对模型并行的全连接层数据交换方法及系统。

背景技术

深度神经网络(Deep Neural Network，DNN)是由一个输入层，多个隐含层，一个输出层组成的一种人工神经网络(Artificial Neural Network，ANN)，每层由多个神经元节点组成，前层与后层的神经元节点间相互连接，如图1所示，图1中所有的层在同一训练单元上，I表示输入层，H表示隐含层(隐含层需要有多个)，O表示隐含层，细线表示神经元与神经元连接，粗线表示部件与部件(此处指某一层)连接。在神经网络模型中，全连接层(Full-Connected Layer)指的是那些所有节点都与相邻层的任一节点相连的层，用“FC”表示全连接层。

随着训练数据集的增大，在深度神经网络的模型训练中，受限于单个训练单元的内存大小(训练单元是一个独立的计算节点，它可以是一张GPU卡或者是一个服务器节点)，全连接层的训练参数(包括连接权值参数与阈值参数，阈值参数亦称偏置参数)往往超过了单个训练单元的内存大小，故需要将全连接层拆分成N个分片，每个分片由部分神经元节点及神经元节点之间的训练参数组成，由分布在一台或者多台主机上的N个训练单元分别持有，共同协作完成训练，如图2所示，这便形成了一种深度神经网络中全连接层的模型并行训练模式。

当一个神经元的输入来自另一个训练单元上的神经元的输出时，将产生通信开销，如在图2中，当训练单元GPU₂的神经元的输入需要来自训练单元GPU₁上的神经元的输出时，需要将后者的输出拷贝给前者，便产生了通信开销。在深度神经网络标准的传播方法中，不论是前向传播还是后向传播，计算与通信都是严格一致的，以下以标准的前向传播(标准的后向传播与标准的前向传播类似)作为说明，其核心思想为：

(1)等待数据：训练单元等待所有源训练单元(产生数据的训练单元)的输出数据的到来；

(2)整体输出：训练单元计算当前层的输出数据；

(3)整体传播：训练单元将输出数据传播到多个目标训练单元(接收数据的训练单元)，作为目标训练单元的输入数据。

然而以上方法存在以下缺陷：由于训练单元分布在一台或者多台主机上，输出数据从源训练单元到目标训练单元传输速率将不一致，目标训练单元需要等待速率最慢的源训练单元的数据到达后才能开始下一步工作(继续前向传播)，通信开销也随之增大。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种深度神经网络模型并行的全连接层数据交换方法及系统，能够将全连接层的数据通信与数据计算进行重叠，在保证正确率的前提下加速模型的收敛。由此解决现有技术中通信开销较大的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种深度神经网络模型并行的全连接层数据交换方法，包括：

(1)对于每个全连接层FC_l,l∈[1,L]，依据FC_l中神经元的数目将FC_l划分为N等分得到N个子全连接层，分别将划分后的各子全连接层分配到N个训练单元上，其中L为全连接层的数目；