[发明专利]稀疏量化神经网络编码模式识别方法与系统

说明书

本发明涉及一种稀疏量化神经网络编码模式识别方法与系统，属于神经网络技术领域。该系统包括CPU、直接存储器访问DMA、串口、总线、控制器、片上内存和神经网络加速器；CPU控制整个计算进程的运行，串口用于接收数据，DMA用于调度输入数据的传输，总线用于传输控制命令和数据；神经网络加速器包括计算阵列与输入帧缓存和输出帧缓存，用于实现数据缓冲和数据复用；输入帧缓存用于抓取每次卷积需要的数据，并将数据进行重新排列；计算阵列用于实现神经网络内部的计算，每个计算阵列包括多个计算单元，每个计算单元实现稀疏量化神经网络中一个宏模块所有计算。本发明中比常规的和其他数据驱动的激活压缩方法更强大，具有更强的鲁棒性。

技术领域

本发明属于神经网络技术领域，特别是稀疏量化神经网络领域，涉及一种稀疏量化神经网络编码模式识别方法与系统。

背景技术

卷积神经网络对于人工智能已被证明是成功的，在不同的计算机视觉应用上具有巨大的潜力，比如自动驾驶和机器人。但是由于其大量的参数，导致其在资源受限的移动嵌入式平台上的基于模式识别的深度学习依然是一个挑战。为了应对这个挑战，高能效神经网络硬件设计的研究吸引了从学术界到工业界的关注。为了使神经网络硬件系统具有更高的能效，常常需要进行软硬件协同设计，即在算法层面需要对神经网络进行面向硬件实现的优化。目前一种常见的优化方法是对神经网络激活进行量化压缩。通常采用的量化方法是在神经网络反向传播过程中，不断进行迭代的四舍五入取整量化。这种舍入的方法会导致信息的丢失，尤其当数据较小时，会造成很大的数据失真。并且舍入计算不可导，无法在基于梯度下降的神经网络反向传播过程中找到其最优解，从而导致神经网络量化后的性能下降。

另外一种极限压缩深度神经网络的方法使用一位二值制数来表示神经网络，该神经网络通过解决非凸规划问题，使用+1和-1连接来近似神经网络的参数。这种方法虽然可以极大的压缩神经网络，但会引起神经网络性能的大幅下降。

近来，有人提出了一种基于比特感知的方法，证明定点激活中的某些比特可以被删除，并且不会显著影响分类结果。这种方法是基于实验结果删除激活中的某些比特，不具备理论基础，结果并不鲁棒。

发明内容

有鉴于此，本发明的目的在于提供一种稀疏量化神经网络编码模式识别方法与系统。为了使神经网络硬件设计后具有更高的性能，使用的硬件资源更少，期望量化的神经网络准确率更高，码率更低。而上述的量化和压缩方法都是不可微和非凸的，在实际中几乎无法得到其最优的解，导致神经网络激活完整性和分类准确率丢失。代替使用传统的迭代方法来量化和压缩卷积神经网络激活，本发明提出了一种基于稀疏凸优化的信息比特瓶颈方法来实现最优的量化和压缩。该方法基于率失真理论(RateDistortionTheory)，作为是一种有损的数据压缩编码方法，试图用于确定在定点激活中最重要的比特位，并且使量化损失最小。从技术上讲，比特瓶颈将神经网络的量化与压缩转化为了一个稀疏凸优化的问题，能够估量激活中最重要的比特，达到最小的平方差失真。因为不重要的比特通常是近乎零的系数，因此激活能够被最优的进行按位压缩。该方法能够有效压缩目前的定点神经网络激活，使神经网络激活表示的码率更低，且准确率相比原网络几乎不丢失，能够降低节省神经网络硬件系统的硬件资源和功耗。

为达到上述目的，本发明提供如下技术方案：

稀疏量化神经网络编码模式识别方法，该方法包括以下步骤：

假设f：R^D→I^d是量化函数，将输入的D-bit实值数据转换为d-bit整数；假设g(·)是指示输入数据码率的函数；根据率失真理论，典型的有损数据压缩方法尝试在给定最大比特数的情况下，最小化失真函数d(·)：

min d(x，f(x)) st.g(x)≤η (1)