[发明专利]基于低精度浮点数的CNN量化方法、前向计算方法及硬件装置

说明书

本发明公开了基于低精度浮点数的CNN量化方法、前向计算方法及装置，涉及深度卷积神经网络量化领域；其量化方法包括步骤：定义网络的低精度浮点数表现形式MaEb；在优化低精度浮点数表示形式过程中，通过更改比例因子、更改a和b的组合和计算量化前后的权重和激活值均方差，获取所述均方差最小值对应的最优低精度浮点数表示形式和最优比例因子；基于上述低精度浮点数表示形式和最优比例因子，完成单精度浮点数量化为低精度浮点数；本发明通过计算和使用低精度浮点数表现形式MaEb，实现在不需要重新训练的情况下，保证网络量化的准确率；实现在保证准确率的情况下，大大提升定制电路或非定制电路上加速的性能，定制电路为ASIC或者SOC，非定制电路包括FPGA。

技术领域

本发明涉及深度卷积神经网络量化领域，尤其是基于低精度浮点数的CNN量化方法、前向计算方法及硬件装置。

背景技术

近年来，AI(Artificial Intelligence，人工智能)的应用已经渗透到很多方面，如人脸识别、游戏对战、图像处理、仿真模拟等等，虽然提高了处理准确性，但由于神经网络包含很多层和大量参数，需要非常大的计算代价和存储空间。对此，技术人员提出了神经网络压缩处理方案，即通过改变网络结构或利用量化、近似的方法来减少网络的参数或存储空间，在不大影响神经网络性能的情况下，降低网络代价和存储空间。

现有技术中的专利号：CN109740737A、专利名称：卷积神经网络量化处理方法、装置及计算机设备，方法包括步骤：获取卷积神经网络中各卷积层的最大权值及最大偏差量；计算所述最大权值的第一动态比特位精度值，及最大偏差量的第二动态比特位精度值，所述第一动态比特位精度值与所述第二动态比特位精度值不同；利用各卷积层对应的所述第一动态比特位精度值和所述第二动态比特位精度值，对相应卷积层的权值和偏差量进行量化；基于各卷积层中量化后的权值及量化后的偏差量，得到所述卷积神经网络的卷积结果。

上述方案采用双精度量化处理方法提高量化后的准确率，具体的，获取卷积神经网络中卷积层的最大权值及最大偏差量，分别计算最大权值的动态比特位精度值及最大偏差量的动态比特位精度值，之后，利用这两个动态比特位精度值实现卷积计算，由于本申请从卷积层的权值和偏差值两方面进行量化，避免了单精度量化，容易导致权值或偏差值精度损失，影响量化准确性的情况发生。

虽然目前技术对量化进行改进，提高量化准确性，但仍然存在几个方面的限制：1)对于量化深度卷积神经网络(卷积层/全连接层的数量超过100层)，需要重新训练来保证准确率；2)量化需要使用16比特浮点数或者8比特定点数来保证准确率；3)在不使用重新训练和保证准确率的前提下，目前技术在一个DSP中，最多只能实现两个乘法运算，从而导致FPGA上加速性能较低。

因此，需要一种基于低精度浮点数的CNN量化方法、前向计算方法及硬件装置，克服以上问题，实现在不需要重新训练的情况下，找到最优的数据表示形式，保证量化后卷积神经网络的准确率和提升定制电路或者非定制电路的加速性能。

发明内容

本发明的目的在于：本发明提供了一种基于低精度浮点数的CNN量化方法、前向计算方法及硬件装置，使用低精度浮点数的表示形式，在不需要重新训练的情况下，保证量化后卷积神经网络的准确率和提升定制电路或者非定制电路的加速性能。

本发明采用的技术方案如下：

基于低精度浮点数的CNN量化方法，包括在卷积神经网络进行的如下步骤：

步骤1：定义所述网络的低精度浮点数表现形式MaEb，所述低精度浮点数表现形式包括符号位、尾数和指数，其中，a、b均为正整数；

步骤2：在优化低精度浮点数表示形式过程中，同时更改比例因子、更改a和b的组合和计算所述网络每一层量化前后的权重和激活值均方差，根据量化前后的权重和激活值均方差最小值获取最优的低精度浮点数表示形式和所述表示形式下的最优比例因子；