[发明专利]一种近似计算批量归一化层的硬件架构及方法

权利要求书

1.一种近似计算批量归一化层的硬件架构，其特征在于，包括：

前向传播模块：用于在深度神经网络正向传播过程中近似计批量归一化层的前向计算过程；

反向传播模块，用于在深度神经网络反向梯度传播时进行梯度信息的计算。

2.根据权利要求1所述的一种近似计算批量归一化层的硬件架构，其特征在于，所述在深度神经网络正向传播过程中近似计算批量归一化层的前向计算过程包括：

通过计算一批量特征图中每张特征图的最大神经元和最小神经元的平均值来近似计算所述批量特征图的总体均值；同时使用比例调整因子，通过将比例调整因子与批量特征图中的每个特征图的最大神经元与最小神经元差值的均值相乘，来近似计算所述批量特征图中的总体标准差，以近似计算批量归一化层。

3.根据权利要求2所述的一种近似计算批量归一化层的硬件架构，其特征在于，批量特征图的总体均值如下：

其中，n是训练过程中设置的批量特征图的通道数，是在通道方向上遍历特征图的变量，k的取值范围是从1到n，x_j是特征图中每个通道上的第j个元素。

4.根据权利要求2所述的一种近似计算批量归一化层的硬件架构，其特征在于，批量特征图的总体标准差如下：

其中，C为比例调整因子，n是训练过程中设置的批量特征图的大小，k是在通道方向上遍历特征图的变量，k的范围是从1到n，x_j是特征图中每个通道上的第j个元素。

5.根据权利要求2所述的一种近似计算批量归一化层的硬件架构，其特征在于，比例调整因子C如下：

其中，m是批量特征图神经元的总数。

6.根据权利要求1所述的一种近似计算批量归一化层的硬件架构，其特征在于，批量归一化层的归一化、缩放和移位计算公式表示如下：

其中，是原始特征值x_i在近似归一化后的值，x_i是批量特征图中的第i个元素，是批量特征图的总体均值，是批量特征图的总体标准差，ε是用于防止计算时分母为0的常数，y_i是近似计算批量归一化后的特征值，γ和β是批量归一化层需要训练的参数。

7.根据权利要求1所述的一种近似计算批量归一化层的硬件架构，其特征在于，深度神经网络在反向梯度传播时的偏微分dx_i如下：

其中，x_i是批量特征图中的第i个元素，γ是批量归一化层需要训练的参数，是批量特征图的总体标准差，ε为用于防止计算时分母为0的常数，L是神经网络反向损失梯度，y_i是近似计算批量归一化后的特征值，n是训练过程中设置的批量特征图的大小，C为比例调整因子，i为遍历m个梯度元素的变量，m为梯度元素个数，为原始特征值x_i在近似归一化后的值。

8.一种近似计算批量归一化层的方法，其特征在于，包括如下过程：

在深度神经网络正向传播过程中近似计批量归一化层的前向计算过程；

在深度神经网络反向梯度传播时进行梯度信息的计算。

9.一种深度神经网络，其特征在于，包括批量归一化层，所述批量归一化层采用权利要求1-7任意一项所述的近似计算批量归一化层的硬件架构。

10.权利要求9所述深度神经网络的训练方法，其特征在于，包括批量归一化层的训练，批量归一化层的训练过程包括：

通过前向传播计算出每一层的特征图和最终的loss值；

通过反向传播根据链式法则递归计算出每一层的特征图梯度；

根据所述计算出的每一层的特征图和每一层的特征图梯度计算出每一层的参数梯度，用来更新每一层需要训练的权重。