[发明专利]基于循环重组和分块的卷积神经网络反向传播映射方法

说明书

本发明公开了基于循环重组和分块的卷积神经网络反向传播映射方法，适用于片上神经网络训练加速器电路，属于神经网络加速器领域。该方法通过数据调度方式将神经网络训练中的反向传播算法映射到现有的用于前向推理的神经网络加速器引擎上，即将卷积神经网络的反向传播中的大卷积操作进行重映射，使得卷积的规模和维度能够适配到用于前向推理的神经网络加速器中。该方法可以在几乎不需要改变硬件架构的情况下，通过将反向传播算法特有的大卷积运算进行重组和分块，将其映射到现有的用于前向推理的神经网络加速器引擎上，从而可以使这类原本只能进行前向推理的加速器很容易就能适配反向传播算法，进而在片上进行神经网络的训练。

技术领域

本发明属于神经网络加速器领域，尤其是用于片上再训练方面，用于将反向传播算法适配到只能进行前向推理的神经网络加速器上，从而实现神经网络在片上进行训练而无需在服务器端进行训练后部署。

背景技术

片上训练，是指部署在神经网络加速器芯片上的神经网络通过特定的方法进行再训练的过程。传统的神经网络加速器芯片通常需要通过服务器端对模型进行大数据训练，之后通过接口部署到芯片内部进行前向推理。因此一般用于边缘设备的神经网络加速器芯片都只能进行推理任务而无法进行训练任务。

近几年来，用户隐私泄露的问题愈发严重。神经网络作为一种数据驱动型的模型，其需要大量用户数据进行训练。一些边缘设备(手机、IOT设备)很容易获取用户的数据，但是受限于这类设备中的神经网络加速器的功能限制，通常设备需要将收集到的数据上传到云端服务器，服务器整合收集到的数据进行神经网络模型训练，之后再将训练好的模型参数分发到设备中。这样一条数据链路在无形中增加了这些用户私密数据被泄露的风险，因此需要一种可以在设备内部离线地使用用户数据训练神经网络模型的方法。

支持片上训练的神经网络芯片目前寥寥可数，其中最大的难点在于训练任务相比前向推理需要更大的计算量和存储量，这两种资源在边缘设备中都十分稀缺。此外，不同神经网络加速器芯片的内部数据流各不相同，在进行反向推理任务时相应的软件需要针对各种不同的加速器架构进行任务的映射，增加了配套软件的设计难度。

发明内容

技术问题：本发明提供一种基于循环重组和分块技术的卷积反向传播映射方法，适用于卷积神经网络的片上训练，通过将反向传播的过程重映射为前向推理过程相似的计算方式，进而将反向传播适配到各类神经网络前向推理加速器中，扩充这类加速器的使用范围，并且保护用于神经网络算法再训练时用户的隐私数据。

技术方案：本发明的一种基于循环重组和分块的卷积神经网络反向传播映射方法通过数据调度方式将反向传播算法映射到现有的用于前向推理的神经网络加速器引擎上，采用一种反向传播大卷积重映射方法，可以使得反向传播中大卷积的规模和维度能够适配到用于前向推理的神经网络加速器中。

所述卷积神经网络的反向传播，包含以下步骤：

步骤一：误差传播，用于将误差从后往前进行推导：涉及的数据为当前层的误差张量，权重张量，前一层的误差张量；涉及主要运算为卷积，也就是当前层的误差张量与权重张量进行卷积得到前一层的误差张量。

步骤二：求权重梯度，用于更新神经网络的卷积权重：涉及的数据为前一层的激活值张量，当前层的误差张量和权重的梯度张量；涉及的运算为大卷积，也就是前一层的激活值张量与当前层的误差张量进行卷积得到权重梯度张量；该大卷积的卷积次序也与普通卷积的卷积次序有所不同。

所述大卷积的规模是指卷积中输入图和卷积核的面积；所述的大卷积的维度是指卷积中输入图的通道数以及卷积核的个数。

所述的前向推理的神经网络加速器是指能够部署神经网络算法的加速硬件，通常只能进行神经网络的前向推理，而无法完成网络的训练任务。