[发明专利]深度神经网络模型并行的全连接层数据交换方法及系统

摘要

本发明公开了一种深度神经网络模型并行的全连接层数据交换方法及系统，将深度神经网络的全连接层按神经元的数目均匀划分到N个训练单元上，形成一种在深度神经网络中全连接层模型并行的网络模型；在全连接层的前向传播过程中，采用半停等前向传播方法对前层的输入数据，采取部分到达、部分计算、整体输出和整体传播的处理方式；在全连接层的后向传播过程中，采用定停等后向传播方法对后层的残差数据，采取定量达到、定量计算和定量传播的处理方式；在一次前向与后向传播完成后，依据所求的权值梯度与阈值梯度，并行地更新各层的权值数据与阈值数据。能够将全连接层的数据通信与数据计算进行重叠，在保证正确率的前提下加速模型的收敛。

主权项

1.一种深度神经网络模型并行的全连接层数据交换方法，其特征在于，包括：(1)对于每个全连接层FC_l,l∈[1,L]，依据FC_l中神经元的数目将FC_l划分为N等分得到N个子全连接层，分别将划分后的各子全连接层分配到N个训练单元上，其中L为全连接层的数目；(2)在每个子全连接层的前向传播过程中，并行地采用半停等前向传播方法得到各子全连接层的输出数据；(3)在每个子全连接层的后向传播过程中，基于半停等前向传播方法得到的各子全连接层的输出数据，并行地采用定停等后向传播方法得到各子全连接层的权值梯度及阈值梯度；(4)在一次前向传播与后向传播结束后，由各子全连接层的权值梯度及阈值梯度并行地更新每个子全连接层的权值数据与阈值数据；其中，所述半停等前向传播方法的核心思想如下：(2.1)对于每个子全连接层若任一子全连接层的输出数据已经到达，则由公式：计算子全连接层对子全连接层的输入数据，其中，下标l表示全连接层的索引，上标j和i表示子全连接层的索引，表示子全连接层与子全连接层的连接权值，表示子全连接层的输出数据，表示子全连接层对子全连接层产生的输入数据；(2.2)针对子全连接层依据步骤(2.1)的结果，由公式：计算子全连接层的整体输入数据，其中，表示子全连接层的整体输入数据；(2.3)针对子全连接层依据步骤(2.2)的结果，由公式：计算子全连接层的最终输出数据，其中，函数F表示一个非线性的激活函数，是子全连接层的阈值数据；所述定停等后向传播方法的核心思想如下：(3.1)对于每个子全连接层在Q个训练单元上的子全连接层对该子全连接层产生的输出残差数据到达后，将该Q个输出残差数据作为子全连接层的输入残差数据，记为：(3.2)针对子全连接层由公式：累加步骤(3.1)中的Q个输入残差数据；(3.3)针对子全连接层依据步骤(3.2)的结果，并行计算子全连接层对子全连接层的输出残差数据，记为：其计算公式为：(3.4)针对子全连接层依据步骤(3.1)的结果，并行计算子全连接层对子全连接层的权值梯度，记为：其计算公式为：(3.5)针对子全连接层依据步骤(3.2)的结果，计算子全连接层对子全连接层的阈值梯度，记为：其计算公式为：其中V为单位向量，V的维度大小等于训练中批处理块的大小；(3.6)针对子全连接层重复步骤(3.1)～步骤(3.5)，每次均处理后层的Q份子全连接层对子全连接层产生的输出残差数据，直到子全连接层所有的后层的输出残差数据都处理完毕。