[发明专利]神经网络量化方法、装置及电子设备

权利要求书

1.一种神经网络量化方法，其特征在于，包括：

在神经网络的迭代训练过程中，基于所述神经网络的输入层接收到的输入数据确定所述输入层中各神经元的初始激活值，基于所述初始激活值确定所述输入层中各神经元的缩放因子，利用所述输入层中各神经元的缩放因子，在所述输入层的各个输出通道对所述输入层中各神经元的初始激活值进行量化计算，输出所述输入层的下一隐含层的各神经元的激活值；

将所述神经网络的各个隐含层逐一作为当前层，对每个所述当前层均执行以下量化操作：接收所述当前层中各神经元的激活值，基于所述当前层中各神经元的激活值确定所述当前层中各神经元的缩放因子，利用所述当前层中各神经元的缩放因子，在所述当前层的各个输出通道对所述当前层中各神经元的激活值进行量化计算，输出所述当前层的下一层的各神经元的激活值；

当所述迭代训练完成时，将当前神经网络作为量化后的神经网络。

2.根据权利要求1所述的方法，其特征在于，所述基于所述当前层中各神经元的激活值确定所述当前层中各神经元的缩放因子的步骤，包括：

获取所述当前层的权重，并将所述当前层的权重输入预先设置的第一量化函数进行量化；

基于所述当前层中各神经元的激活值及量化后的所述当前层的权重确定所述当前层中各神经元的中间激活值；

基于所述当前层中各神经元的中间激活值确定所述当前层中各神经元的缩放因子。

3.根据权利要求2所述的方法，其特征在于，所述利用所述当前层中各神经元的缩放因子，在所述当前层的各个输出通道对所述当前层中各神经元的激活值进行量化计算，输出所述当前层的下一层的各神经元的激活值的步骤，包括：

将所述中间激活值分别输入至所述当前层中各神经元对应输出通道中预先设置的第二量化函数，得到各输出通道中量化后的所述中间激活值；

基于各输出通道中量化后的所述中间激活值与各通道在当前层中对应的神经元的缩放因子的乘积，确定所述当前层中各神经元的激活值的量化计算结果；

将所述当前层中各神经元的激活值的量化计算结果作为所述当前层的下一层的各神经元的激活值。

4.根据权利要求2所述的方法，其特征在于，所述基于所述当前层中各神经元的激活值及量化后的所述当前层的权重确定所述当前层中各神经元的中间激活值的步骤，包括：

在所述当前层的各个输出通道中分别对各通道在当前层中对应的神经元的激活值和量化后的所述当前层的权重进行卷积运算，得到所述当前层中各神经元的卷积运算结果；

将所述当前层中各神经元的卷积运算结果分别输入至预设的第一非线性激活函数，得到所述当前层中各神经元的中间激活值。

5.根据权利要求2所述的方法，其特征在于，所述隐含层包括全连接层；

基于所述当前层中各神经元的中间激活值确定所述当前层中各神经元的缩放因子的步骤，包括：

对所述当前层中各神经元的中间激活值均执行以下操作：

对所述中间激活值进行全局平均池化运算，得到池化运算结果；

获取所述隐含层中第一全连接层的第一浮点型权重，将所述池化运算结果和所述全连接层的浮点型权重输入预设的第二非线性激活函数；

获取所述隐含层中第二全连接层的第二浮点型权重，将所述第二非线性激活函数的输出结果输入预设的第三非线性激活函数，得到所述当前层中各神经元的缩放因子；其中，所述第一全连接层和所述第二全连接层为所述全连接层的任意两层。

6.根据权利要求5所述的方法，其特征在于，所述当前层为第l层，所述第二非线性激活函数为ReLU激活函数，所述第三非线性激活函数为Sigmoid函数；

所述当前层的各神经元的缩放因子的计算算式为：

其中，W_l2为所述第二浮点型权重，W_l1为所述第一浮点型权重，GAP(A_l)为所述池化运算结果，A_l为所述神经网络中第l层的神经元的中间激活值。