[发明专利]一种基于非均匀量化的神经网络权值压缩方法及使用方法

权利要求书

1.一种基于非均匀量化的神经网络权值压缩方法，其特征在于包括以下步骤：

1)基于数据概率对连接权值分组；

2)最大值归一化：将分组后的连接权值做最大值归一化处理，使得连接权值的幅度值处于[-1 1]；

3)将归一化后的连接权值采用非均匀量化的A律压缩进行压缩编码；

所述步骤1)中，分组过程如下：

1.1)将权值以0为中心，左右平均分成两组：分组0和分组1；

1.2)在分组0中权值增加偏移值C0，该偏移值为分组0的均值，使得权值负值空间域的数据集均值近似为0；

1.3)在分组1同样增加偏移值C1，该偏移值为分组1的均值，使得权值正值空间域的数据集均值也近似为0；

1.4)通过分组处理后，分组0和分组1近似服从均值为0的高斯分布，并增加一位分组标识符进行分组的区分；

所述步骤3)中，在进行A律压缩时，线性的11+1位数据，默认其最高位为符号位，压缩时要保持最高位符号位不变；将压缩后的码字格式定义为PSSSQQQQ,相当于将正负权值输入分为8个区段(0-7)，其中P(7)为符号位；SSS(4-6)表示段值；QQQQ(0-3)表示量化值。

2.如权利要求1所述的一种基于非均匀量化的神经网络权值压缩方法，其特征在于：所述步骤3)中，A律压缩公式F(x)为：

式中，A是压缩参数，x是需要压缩的归一化后的权值。

3.如权利要求1或2所述的一种基于非均匀量化的神经网络权值压缩方法，其特征在于：所述步骤3)中，具体压缩编码过程如下：将归一化后的连接权值分别与最小量化间隔相除计算出每个权值含有的量化单位，对权值的量化单位进行二进制编码，将编码后的二进制数在输入值与压缩编码间的关系表中查找得到相应的压缩后的码字，该码字即为压缩后的连接权值。

4.如权利要求3所述的一种基于非均匀量化的神经网络权值压缩方法，其特征在于：所述输入值与压缩编码间的关系表为：

其中，0代表正，1代表负，压缩前码字符号放在最高位，压缩后码字符号放在最高位，×为压缩中丢弃的比特数。

5.一种如权利要求1至4任一项所述压缩方法的使用方法，即利用压缩后权值进行决策时的使用方法，其特征在于包括以下步骤：

1)将非线性编码转换成线性的二进制编码；

2)分组合并：根据分组标识符，如果属于分组0，压缩后权值减少偏移常量C0；如果属于分组1，压缩后权值减少偏移常量C1。

6.如权利要求5所述的使用方法，其特征在于：所述步骤1)中，转换时先不考虑符号位，将存储的压缩码字的低7位通过从A律压缩码字到线性码字的扩展转换表得到扩展后的无符号位的11位线性码字，再加上存储的符号位码即得出线性的12位线性码字。

7.如权利要求6所述的使用方法，其特征在于：所述从A律压缩码字到线性码字的扩展转换表为：