[发明专利]一种基于非均匀量化的神经网络权值压缩方法及使用方法

说明书

本发明涉及一种基于非均匀量化的神经网络权值压缩方法及使用方法，其步骤：基于数据概率对连接权值分组；最大值归一化：将分组后的连接权值做最大值归一化处理，使得连接权值的幅度值处于[‑1 1]；将归一化后的连接权值采用非均匀量化的A律压缩进行压缩编码。本发明能有效保证系统性能，显著降低了连接权值存储所需的容量，有利于深度神经网络在嵌入式系统中的应用。

技术领域

本发明涉及一种深度学习神经网络压缩方法及使用方法，特别是关于一种在计算机应用领域中应用的基于非均匀量化的神经网络权值压缩方法及使用方法。

背景技术

人工神经网络(ANN)，作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80年代以来人工智能领域兴起的研究热点。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。

人工神经网络是由多个神经元连接构成，一个典型的人工神经元模型如图1所示。

其中，x_j为神经元i的输入信号，w_ij为连接权值，b为外部刺激，f为激励函数，y_i为神经元的输出，其输出公式为：

由上式可见，由于深度学习网络层数很多，网络规模较大，对于连接权值存储的问题成为嵌入式系统应用的瓶颈。由于连接权值在幅度分布上具有高斯分布的概率密度特征，采用均匀量化不能同时较好的描述幅度大的连接权值和幅度小的连接权值。

发明内容

针对上述问题，本发明的目的是提供一种基于非均匀量化的神经网络权值压缩方法及使用方法，该方法能有效保证系统性能，显著降低了连接权值存储所需的容量，有利于深度神经网络在嵌入式系统中的应用。

为实现上述目的，本发明采取以下技术方案：一种基于非均匀量化的神经网络权值压缩方法，其特征在于包括以下步骤：1)基于数据概率对连接权值分组；2)最大值归一化：将分组后的连接权值做最大值归一化处理，使得连接权值的幅度值处于[-1 1]；3)将归一化后的连接权值采用非均匀量化的A律压缩进行压缩编码。

进一步，所述步骤1)中，分组过程如下：1.1)将权值以0为中心，左右平均分成两组：分组0和分组1；1.2)在分组0中权值增加偏移值C0，该偏移值为分组0的均值，使得权值负值空间域的数据集均值近似为0；1.3)在分组1同样增加偏移值C1，该偏移值为分组1的均值，使得权值正值空间域的数据集均值也近似为0；1.4)通过分组处理后，分组0和分组1近似服从均值为0的高斯分布，并增加一位分组标识符进行分组的区分。

进一步，所述步骤3)中，A律压缩公式F(x)为：

式中，A是压缩参数，x是需要压缩的归一化后的权值。

进一步，所述步骤3)中，在进行A律压缩时，线性的11+1位数据，默认其最高位为符号位，压缩时要保持最高位符号位不变；将压缩后的码字格式定义为PSSSQQQQ,相当于将正负权值输入分为8个区段(0-7)，其中P(7)为符号位；SSS(4-6)表示段值；QQQQ(0-3)表示量化值。

进一步，所述步骤3)中，具体压缩编码过程如下：将归一化后的连接权值分别与最小量化间隔相除计算出每个权值含有的量化单位，对权值的量化单位进行二进制编码，将编码后的二进制数在输入值与压缩编码间的关系表中查找得到相应的压缩后的码字，该码字即为压缩后的连接权值。

进一步，所述输入值与压缩编码间的关系表为：

其中，0代表正，1代表负，压缩前码字符号放在最高位，压缩后码字符号放在最高位，×为压缩中丢弃的比特数。