[发明专利]适用于卷积神经网络训练加速器的可配置加法树

说明书

本发明公开了一种适用于卷积神经网络训练加速器的可配置加法树，由三组加法单元构成，每组的所述加法单元包括串联的一阶多路选择器和加法器结构、二阶多路选择器和加法器结构以及三阶多路选择器和加法器结构；利用多路选择器进行模式选择：其中，多路选择器设置于每阶加法器的输入端，多路选择器的输出串联下一阶加法器。与现有技术相比，本发明1)能够在并行度大的情况下，降低加法资源使用；2)适用于前向传播的常规卷积3×3的累加，也可以适用于权重梯度的超大核卷积(不固定尺寸)的累加；3)可以适用于不同的数据精度。

技术领域

本发明属于信息技术领域、卷积神经网络训练硬件加速领域，尤其涉及基于低功耗、高性能的卷积神经网络训练。

背景技术

随着人工智能技术的广泛应用，在线训练芯片设计领域逐渐成为国内外AI芯片研究前沿。卷积神经网络(Convolutional NeuralNetwork,CNN)作为一种前馈神经网络，可以广泛应用于计算机视觉、自然语言处理等领域。CNN训练过程涉及大量数据存储、复杂读取以及同步要求，对存储空间、访问带宽和管理机制的要求非常高。现有硬件架构围绕训练算法探索卷积训练算子的高效硬件实现方式，满足深度神经网络对计算量和存储空间的需求。CNN训练算法的基本算子包含卷积、池化、激活函数、归一化、损失函数及相关运算的求导等，其中卷积层是CNN的重要组成部分，占据非常重要的地位。对训练卷积神经网络具有重要的意义是支持CNN训练过程中的正向传播与反向传播的卷积单引擎架构，并将不同的深度神经网络模型训练映射到可配置的训练加速器架构上。FPGA利用其可编程性强、并行度高和能效低的特点成为了实现卷积神经网络训练的平台之一。CNN训练加速器的正向传播(误差反向传递)与权重梯度计算存在两种不同的累加形式。

然而现有的CNN训练加速器主要针对乘法单元进行优化，对加法单元的优化较少，单一并行度下卷积核内加法树和自累加单元模式分开实现共需17个加法单元。在并行度大的情况下，加法单元需要耗费较多的计算资源。

因此，对加法树进行优化以减少计算资源的耗费是本发明亟待解决的技术问题。

发明内容

为进一步降低加法单元的资源占有，本发明提出一种适用于卷积神经网络训练加速器的可配置加法树，实现一种可配置的加法树设计，使其既支持正向传播和误差反向传递的核内累加，又支持权重梯度计算的自累加功能，实现了对CNN训练加速器中存在的不同累加形式硬件架构进行优化。

本发明为解决上述问题而采取的技术方案如下：

一种适用于卷积神经网络训练加速器的可配置加法树，所述可配置加法树由三组加法单元构成，每组的所述加法单元包括串联的一阶多路选择器和加法器结构、二阶多路选择器和加法器结构以及三阶多路选择器和加法器结构；利用多路选择器进行模式选择：其中，多路选择器设置于每阶加法器的输入端，多路选择器的输出串联下一阶加法器。

与现有技术相比，本发明的适用于卷积神经网络训练加速器的可配置加法树能够达成以下有益效果：

1)在并行度大的情况下，降低加法资源使用；

2)适用于前向传播的常规卷积3×3的累加，也可以适用于权重梯度的超大核卷积(不固定尺寸)的累加。

3)可以适用于不同的数据精度。

附图说明

图1为本发明的适用于卷积神经网络训练加速器的可配置加法树架构示意图；

图2为本发明的适用于卷积神经网络训练加速器的可配置加法树的累加模式示意图；(a)模式0：卷积核内加法树模式，(b)模式1：自累加模式。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述。