[发明专利]稀疏量化神经网络编码模式识别方法与系统

权利要求书

1.稀疏量化神经网络编码模式识别方法，其特征在于：该方法包括以下步骤：

假设f：R^D→I^d是量化函数，将输入的D-bit实值数据转换为d-bit整数；假设g(·)是指示输入数据码率的函数；根据率失真理论，典型的有损数据压缩方法尝试在给定最大比特数的情况下，最小化失真函数d(·)：

min d(x，f(x)) st.g(x)≤η (1)

假定是与第i个样本相关的浮点激活矢量；标准的量化函数使用D个二值矢量x_i1，x_i2、...，x_iD来近似记作x_ij∈{0，1}^M，表示x_i的第j个比特位的M维二值矢量；假设实值激活被归一化到[0，2^D]的区域，则标准的舍入量化方法使用如下定点数据：

其中每个比特分配有一个常数系数{2⁰，...，2^D-1}，并且x_ij的值通过四舍五入得到；

用变量α∈R^D替换固定系数，如下：

找到并估计与最重要比特相关的最优稀疏系数α；

将N个训练样本上的最小化标准平方失真率定义为

公式(4)等效于以下基于L1范数求解稀疏解的问题：

比特瓶颈操作通过求解公式(5)，以确定稀疏的重要的比特位，并实现最小的率失真；通过求解它的对偶形式来求解公式(5)：

其中λ是用于控制最优的错误率和码率的超参数：公式(6)导致系数α的稀疏解，并且在推理阶段将与D-d零系数相关的激活比特位删除，提高计算效率；

接着进行以下步骤：

步骤1：选择一个预训练好的神经网络模型，设置一个压缩的峰值信噪比PSNR损失阈值，记为T，确定一个初始量化码率，记为D；

步骤2：应用任意基础方法来量化预训练神经网络的激活，得到具有D-bit定点表示的激活，即公式(5)中的x_ii∈{0，1}^M；

步骤3：在每个卷积层之前，通过求解公式(6)来训练信息比特瓶颈，并将其插入网络模型中以减少基础量化的损失；以相同PNSR损失阈值T为参考，每个比特瓶颈具有不同的稀疏性等级和不同数量的非零系数α_j，等效于压缩后的有效码率小于D；

步骤4：通过反向传播训练过程，对具有信息瓶颈的深层神经网络的权值进行调优和量化；

步骤5：将训练好的神经网络的权值、比特系数矢量α和偏置加载到神经网络硬件系统，硬件系统部署完成。

2.稀疏量化神经网络编码模式识别系统，其特征在于：包括CPU、直接存储器访问DMA、串口、总线、控制器、片上内存和神经网络加速器；

CPU控制整个计算进程的运行，串口用于接收数据，DMA用于调度输入数据的传输，总线用于传输控制命令和数据；

神经网络加速器包括计算阵列与输入帧缓存和输出帧缓存，用于实现数据缓冲和数据复用；输入帧缓存用于抓取每次卷积需要的数据，并将数据进行重新排列；

计算阵列用于实现神经网络内部的计算；

控制器用于控制各个模块的协调运作，并且通过总线与CPU通信，接收CPU的指令。

3.根据权利要求2所述的稀疏量化神经网络编码模式识别系统，其特征在于：所述计算阵列包括多个计算单元，每个计算单元实现稀疏量化神经网络中一个宏模块所有计算。

4.根据权利要求3所述的稀疏量化神经网络编码模式识别系统，其特征在于：所述一个宏模块所有计算包括批量归一化计算、比特瓶颈计算、卷积计算、激活计算和池化计算；比特瓶颈计算能够和卷积计算同时进行。

5.根据权利要求4所述的稀疏量化神经网络编码模式识别系统，其特征在于：所述计算单元包括数据缓存模块、归一化和卷积模块、激活和池化模块；

所述数据缓存模块进行数据缓存后，在归一化和卷积模块中进行批量归一化、卷积位乘法阵列和偏置缓存；然后在激活和池化模块中进行激活和池化；然后输出激活。