[发明专利]神经网络量化方法、装置及电子设备

说明书

本发明提供了一种神经网络量化方法、装置及电子设备，该方法包括：在神经网络的迭代训练过程中，利用输入层中各神经元的缩放因子，在输入层的各个输出通道对输入层中各神经元的初始激活值进行量化计算，输出输入层的下一隐含层的各神经元的激活值；将神经网络的各个隐含层逐一作为当前层，对每个当前层均执行以下量化操作：基于当前层中各神经元的激活值确定当前层中各神经元的缩放因子，利用当前层中各神经元的缩放因子，在当前层的各个输出通道对当前层中各神经元的激活值进行量化计算，输出当前层的下一层的各神经元的激活值；当迭代训练完成时，将当前神经网络作为量化后的神经网络。本发明提升了神经网络的识别精度。

技术领域

本发明涉及机器学习技术领域，尤其是涉及一种神经网络量化方法、装置及电子设备。

背景技术

随着神经网络在图像分类、物体检测、图像分割等计算机视觉方向的应用技术日渐成熟，对于将神经网络移植到移动终端的需求量也越来越大。但高性能神经网络具有参数量庞大、计算量大的特点，使其难以有效应用于移动终端。为了降低神经网络的计算复杂度以缓解神经网络的移植问题，研究人员提出了多种神经网络压缩与加速方法，诸如，将神经网络量化成低精度网络的方法，降低了神经网络的计算时间。然而，低精度网络由于参数较少，表达能力欠缺、训练困难进而影响到神经网络的识别精度，因此，现有的网络量化方法得到的神经网络还存在识别精度较低的问题。

发明内容

有鉴于此，本发明的目的在于提供一种神经网络量化方法、装置及电子设备，能够提升神经网络的识别精度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种神经网络量化方法，包括：在神经网络的迭代训练过程中，基于所述神经网络的输入层接收到的输入数据确定所述输入层中各神经元的初始激活值，基于所述初始激活值确定所述输入层中各神经元的缩放因子，利用所述输入层中各神经元的缩放因子，在所述输入层的各个输出通道对所述输入层中各神经元的初始激活值进行量化计算，输出所述输入层的下一隐含层的各神经元的激活值；将所述神经网络的各个隐含层逐一作为当前层，对每个所述当前层均执行以下量化操作：接收所述当前层中各神经元的激活值，基于所述当前层中各神经元的激活值确定所述当前层中各神经元的缩放因子，利用所述当前层中各神经元的缩放因子，在所述当前层的各个输出通道对所述当前层中各神经元的激活值进行量化计算，输出所述当前层的下一层的各神经元的激活值；当所述迭代训练完成时，将当前神经网络作为量化后的神经网络。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述基于所述当前层中各神经元的激活值确定所述当前层中各神经元的缩放因子的步骤，包括：获取所述当前层的权重，并将所述当前层的权重输入预先设置的第一量化函数进行量化；基于所述当前层中各神经元的激活值及量化后的所述当前层的权重确定所述当前层中各神经元的中间激活值；基于所述当前层中各神经元的中间激活值确定所述当前层中各神经元的缩放因子。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述利用所述当前层中各神经元的缩放因子，在所述当前层的各个输出通道对所述当前层中各神经元的激活值进行量化计算，输出所述当前层的下一层的各神经元的激活值的步骤，包括：将所述中间激活值分别输入至所述当前层中各神经元对应输出通道中预先设置的第二量化函数，得到各输出通道中量化后的所述中间激活值；基于各输出通道中量化后的所述中间激活值与各通道在当前层中对应的神经元的缩放因子的乘积，确定所述当前层中各神经元的激活值的量化计算结果；将所述当前层中各神经元的激活值的量化计算结果作为所述当前层的下一层的各神经元的激活值。