[发明专利]一种卷积神经网络量化电路及量化方法

说明书

本发明公开了一种卷积神经网络量化电路及量化方法，属于人工智能数据处理技术领域，包括原始参数池、比较器阵列、量化参数计算单元和算术运算单元，所述原始参数池用于存储卷积神经网络每层计算所需的原始参数数据，包括每层所有卷积核各通道数据和偏置数据；所述比较器阵列用于对原始参数池中的数据进行统计运算，迭代比较得到卷积神经网络各层参数的最大值及最小值；所述量化参数计算单元用于对所述最大值及最小值进行算术运算，得到模型量化所用的各参数；所述算术运算单元用于对模型进行量化，所得结果均以无符号位指定位数的整数格式表示。本发明经过量化可以降低系统功耗，使卷积神经网络在端上的部署运行得到更可靠的保证。

技术领域

本发明涉及人工智能数据处理技术领域，具体地说是一种卷积神经网络量化电路及量化方法。

背景技术

卷积神经网络作为人工智能发展大潮中一支重要方向，已呈白热化发展状态。各种新模型新算法层出不穷，为这一领域源源不断注入新的推动力量。其中，网络模型深度增加和规模增大是主要发展方向，在精度不断提高的过程中，神经网络的部署与实现却面临巨大挑战。

由于移动端处理和存储水平发展限制，深度和尺寸成倍增长的人工神经网络只能在大规模计算资源的处理机器中运行，设备功耗和运行速度达不到要求。无法进行端的移植，进而无法集群部署。一些适用于各种场景的新型网络无法得到应用与验证，一定程度上阻碍着算法的优化和网络的进步。

发明内容

本发明的技术任务是针对以上不足之处，提供一种卷积神经网络量化电路及量化方法，可以降低系统功耗，使卷积神经网络在端上的部署运行得到更可靠的保证。

本发明解决其技术问题所采用的技术方案是：

一种卷积神经网络量化电路，包括原始参数池、比较器阵列、量化参数计算单元和算术运算单元，

所述原始参数池用于存储卷积神经网络每层计算所需的原始参数数据，包括每层所有卷积核各通道数据和偏置数据，均以有符号实数型数据格式表达；

所述比较器阵列用于对原始参数池中的数据进行统计运算，迭代比较得到卷积神经网络各层参数的最大值及最小值；

所述量化参数计算单元用于根据一定的算法，对所述最大值及最小值进行算术运算，得到模型量化所用的各参数；

所述算术运算单元用于根据所述量化后的参数，从卷积神经网络首层的原始输入开始，对卷积、累加、池化及全连接等过程进行量化，所得结果均以无符号位指定位数的整数格式表示。

通过量化计算，可以将有符号的实数型数据格式变为无符号指定位数的整数格式，可以降低模型存储容量和带宽需求。

进一步的，该量化电路还包括微调单元，用于对量化结果进行一定范围内的修正，以消除算术运算单元由于移位及乘除法运算带来的误差。

进一步的，该量化电路还包括激活单元，用于根据量化参数，将量化后的数据截短，以满足下一层卷积神经网络输入要求。

优选的，所述量化参数计算单元得到的量化参数包括：卷积核量化零值、量化扩展系数、量化移位位数一、量化移位位数二、输出量化零值、偏置扩展系数和全连接输出量化零值。

进一步的，所述算术运算单元包括加法阵列、位移阵列和乘法器阵列，以实现卷积、累加、池化及全连接等过程中的量化运算，包括：对输入特征图与输入特征图量化零值作差运算，对输入卷积核与卷积核量化零值作差运算，对减去零值的输入特征图及卷积核乘积运算，对乘积结果与量化扩展系数进行乘积运算，对二次乘积结果进行两次量化移位计算，对移位结果和输出量化零值进行求和运算，对原始偏置与偏置扩展系数进行乘积运算，对全连接输出和全连接输出量化零值进行求和。

其中，在量化扩展乘积运算之后以及第一次量化位移之后，需要经过微调单元对结果进行微调计算。