[发明专利]一种卷积神经网络加速器

说明书

本发明涉及一种卷积神经网络加速器，包括：将原始权重按计算顺序排列并按位对齐，得到权重矩阵，剔除权重矩阵中的松弛位，得到具有空位的精简矩阵，并使得精简矩阵的每一列中的基本位按计算顺序递补空位，得到中间矩阵，剔除中间矩阵中的空行，并将中间矩阵的空位置0，得到捏合矩阵，捏合矩阵的每一行作为捏合权重；根据激活值与原始权重中基本位的对应关系，得到捏合权重中每一位对应激活值的位置信息；将捏合权重送入拆分累加器，拆分累加器将捏合权重按位分割为多个权重段，根据位置信息，将权重段与对应的激活值进行求和处理，并将处理结果发送至加法树，通过对处理结果执行移位相加，得到输出特征图。

技术领域

本发明涉及神经网络计算领域，并特别涉及一种卷积神经网络加速器。

背景技术

深度卷积神经网络已经在机器学习应用中取得了重大进展，例如实时图像识别、检测和自然语言处理等。为了提高准确性，先进的深度卷积神经网络(DCNN)架构拥有复杂的连接和大量的神经元和突触，以满足高精度和复杂的任务的需求。卷积运算时，权重与对应的激活值相乘，最后把积加起来求和。即权重和激活值构成一对。

鉴于传统通用处理器架构的局限性，许多研究人员提出了针对现代DCNN的特定计算模式的专用加速器。DCNN由多个层组成，从几十层到几百层，甚至上千层。在整个DCNN中近98％的计算来自卷积操作。卷积作为影响功率和性能的最主要因素。在不损害学习模型的稳健性的情况下提高卷积的计算效率，成为加速DCNN的有效方法，尤其是在资源有限和有低功耗需求的轻量级设备(如智能手机和自动机器人)上。

为了解决这一挑战，一些现有方法利用定点乘法可以分解为一系列单比特乘法并移位相加的特点，提出在执行MAC时使用比特位级串行。然而，基本位(或1)可能出现在定点数的任何位置，因此这种方案必须将位“1”的最坏情况的位置考虑在内，如果是16位定点数(fp16)需要使用16位寄存器保存基本位(“1”)的位置信息。不同的权重或激活值可能在加速过程中产生不同的等待时间，因此产生不可预测的周期。硬件设计必然会覆盖最坏情况，只能将最坏情况的周期作为加速器的周期，不仅会增大处理周期，减小加速器的频率，还会增加设计复杂性。

为了加速这种操作，经典的DCNN加速器通过在每个激活值和权重通道上部署乘法器和加法器，进行乘加操作。为了在加速和准确度之间达到平衡，乘法可以是浮点32位操作数，或者16位定点数和8位整型数。与定点数加法器相比，乘法器决定了卷积操作的延迟，8位定点的2操作数乘法器所需时间是加法器的3.4倍。并且不同的DCNN模型所需精度不同，甚至在同一个模型的不同层都有不同的精度需求，因此为卷积神经网络加速器设计的乘法器必须能够覆盖最坏情况。

经典DCNN加速器主要部件是乘加器，而乘加器的主要问题是会进行无效运算，无效计算可以表现在两个方面：首先操作数是有很多零值或包括大部分零比特的值。与零位相比，零值在权重中占据了一小部分。这些小部分0可以通过先进的微架构设计或内存级压缩技术轻松消除，并作为输入避免使用乘数。图1显示，与基本位(或1)相比，零位的平均比例高达68.9％。其次乘加运算的中间结果是无用的，例如，y＝ab+cd+de，我们只需要y的值，而不需要ab的值。这意味着优化零位和乘加运算将有助于计算效率、降低功耗。

有很多人利用量化技术加速计算。例如，将权重转换为二值，或更精确的三值。因此乘法运算可以转换为纯移位或加法操作。然而，这样做必然会牺牲结果的精度，尤其是在大型数据集中这些方案精度损失非常严重。因此，发明高精度的加速器是非常有必要的。

传统的CNN将每个权重/激活值对都放入处理单元(PE)中，并在一个周期内完成乘加操作，然而无法避免计算零比特。如果我们可以减少无效计算的时间，那么PE的吞吐量将得到提升。本发明将PE中包含“0”比特的位称为“松弛位”。