[发明专利]一种近似计算批量归一化层的硬件架构及方法

说明书

本发明公开了一种近似计算批量归一化层的硬件架构及方法，硬件架构包括：前向传播模块，用于在深度神经网络正向传播过程中近似计算BN层的前向计算过程；反向传播模块，用于深度神经网络在反向梯度传播时进行梯度信息的计算。本发明提出通过一个批次特征图中，每张特征图的最大神经元和最小神经元的平均值来近似计算小批量的总体均值；同时，使用比例调整因子C，通过将其与小批量的每个特征图的最大神经元与最小神经元差值的均值相乘，来近似计算小批量的总体标准差，从而近似计算BN层。本发明能够有效减少BN层(即批量归一化层)的浮点运算次数和外部存储器访问次数。

技术领域

本发明属于人工智能芯片的加速计算领域，具体涉及一种近似计算批量归一化层的硬件架构及方法。

背景技术

近年来，随着各种算法和数据集的爆炸性增长，深度神经网络(Deep NeuralNetworks,DNN)在我们的现实生活中逐渐发挥着越来越重要的作用。与传统算法不同，深度神经网络可以完成那些需要高度抽象的任务，比如计算机视觉与自然语言处理等。虽然这些深度神经网络算法在性能上表现出色，但是随着应用场景不断复杂化，网络的规模也随之变得越来越大，运算量骤然提升。为了满足应用DNN时对精度和速度的性能需求，国内外的学者已经提出了多种用于深度神经网络推理的加速器架构，以在算法精度和硬件效率之间进行权衡，如Eyeriss、TPU等。然而，现实中的应用程序和深度神经网络离线训练之间的数据是非独立同分布的，这一固有问题将不可避免地导致深度神经网络部署时的性能严重降低。此外，为了保护用户个人隐私，尽管用户希望应用程序变得更加个性化，但却不希望将本地数据传输到云端进行模型训练。因此，深度神经网络在设备上的训练对于解决上述问题非常必要，这也确实已经成为了一个关键的研究趋势。

为了设计高效的DNN设备上训练处理器，需要优化构成DNN模型的各个层的计算模块，而不仅仅是卷积层。在典型的DNN结构中，批量归一化层(BN层)已被确定为非常有效的组件，它可以在很大程度上帮助加快模型训练的收敛速度。但是BN层因为涉及乘法、除法和统计计算(均值、方差和标准差)而占用较多的计算量，因此在DNN设备上训练处理器中使用BN层计算模块反而会减慢训练迭代过程。

虽然BN层是神经网络训练中一个重要的组成部分，但大多数的离线训练处理器并没有为BN层设计高效的加速架构。目前，有限的BN层的优化工作主要分为两类，一类主要侧重神经网络推理过程的BN层优化，而没有考虑模型的训练过程；另一类是考虑到神经网络训练的重要性，所以把BN层的优化拓展到模型的训练过程中。然而，这些工作要么优化BN算法而不考虑硬件架构的优化，要么在硬件中直接实现标准BN算法而不进行软硬件协同设计。因此，针对设备上的训练处理器开发硬件友好的BN层具有重要意义。

发明内容

为了解决BN层在硬件电路上片外存储访问成本和计算复杂度高的问题，本发明提供了一种近似计算批量归一化层的硬件架构及方法，本发明能够有效减少BN层(即批量归一化层)的浮点运算次数和外部存储器访问次数。

本发明所采用的技术方案如下：

一种近似计算批量归一化层的硬件架构，包括：

前向传播模块：用于在深度神经网络正向传播过程中近似计批量归一化层的前向计算过程；

反向传播模块，用于在深度神经网络反向梯度传播时进行梯度信息的计算。

优选的，所述在深度神经网络正向传播过程中近似计算批量归一化层的前向计算过程包括：

通过计算一个批量特征图中每张特征图的最大神经元和最小神经元的平均值来近似计算所述批量特征图的总体均值；同时使用比例调整因子，通过将比例调整因子与批量特征图中的每个特征图的最大神经元与最小神经元差值的均值相乘，来近似计算所述批量特征图中的总体标准差，以近似计算批量归一化层。

优选的，批量特征图的总体均值如下：