[发明专利]基于循环重组和分块的卷积神经网络反向传播映射方法

权利要求书

1.一种基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：该方法通过数据调度方式将反向传播算法映射到现有的用于前向推理的神经网络加速器引擎上，采用一种反向传播大卷积重映射方法，可以使得反向传播中大卷积的规模和维度能够适配到用于前向推理的神经网络加速器中。

2.根据权利要求1所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述卷积神经网络的反向传播，包含以下步骤：

步骤一：误差传播，用于将误差从后往前进行推导：涉及的数据为当前层的误差张量，权重张量，前一层的误差张量；涉及主要运算为卷积，也就是当前层的误差张量与权重张量进行卷积得到前一层的误差张量。

步骤二：求权重梯度，用于更新神经网络的卷积权重：涉及的数据为前一层的激活值张量，当前层的误差张量和权重的梯度张量；涉及的运算为大卷积，也就是前一层的激活值张量与当前层的误差张量进行卷积得到权重梯度张量；该大卷积的卷积次序也与普通卷积的卷积次序有所不同。

3.根据权利要求1所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述大卷积的规模是指卷积中输入图和卷积核的面积；所述的大卷积的维度是指卷积中输入图的通道数以及卷积核的个数。

4.根据权利要求1所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述的前向推理的神经网络加速器是指能够部署神经网络算法的加速硬件，通常只能进行神经网络的前向推理，而无法完成网络的训练任务。

5.根据权利要求2所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述误差张量是指神经网络的输出与真实标签值的误差矩阵；在神经网络的输出层结合真实标签求得初始的误差值之后，通过反向传播算法中的误差传播公式，求得神经网络每一层对应的误差张量；所述权重张量是指卷积前向计算中使用的卷积核张量；所述激活值张量是指卷积前向计算中输入图和权重进行卷积得到的输出图经过激活函数作用后的张量。

6.根据权利要求2所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述卷积次序是指卷积操作所固有的循环顺序；通常的卷积循环分为七层，从内到外依次是输入通道循环，卷积核宽度循环，卷积核高度循环，输出图宽度循环，输出图高度循环，输出通道循环，样本数循环。

7.根据权利要求1所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述的反向传播大卷积重映射方法，包括卷积循环重组和卷积分块两种方法。

8.根据权利要求7所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是，所述的卷积循环重组方法采用一种大卷积循环次序置换方法，将反向传播大卷积的循环次序进行置换，从而将求权重梯度这一步的大卷积的卷积顺序转变为跟前向卷积一致的循环方式。

9.根据权利要求8所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述的大卷积循环次序置换方法是将反向传播大卷积中的样本数维度的循环置换到卷积的最内层，避免反向大卷积之后需要对所有样本求得的梯度进行累加的步骤。

10.根据权利要求7所述的基于循环重组和分块的卷积神经网络反向传播映射方法，其特征是：所述的卷积分块方法是对大卷积进行分块操作，设定一个分块参数，将原本较大的卷积核划分为若干个小块的卷积核，将每个小块的卷积核高效地映射到前向推理的神经网络加速器中，最后将所有分块的输出进行累加，得到完整的大卷积的输出图。