[发明专利]一种面向忆阻器加速器的神经网络模型压缩方法及系统

说明书

本发明提供了一种面向忆阻器加速器的神经网络模型压缩方法及系统，涉及基于忆阻器的神经网络加速器技术领域，该方法包括：步骤1：通过阵列感知的规则化增量剪枝算法，裁剪原始网络模型获得忆阻器阵列友好的规则化稀疏模型；步骤2：通过二的幂次量化算法，降低ADC精度需求和忆阻器阵列中低阻值器件个数以总体降低系统功耗。本发明能够解决原始模型映射到忆阻器加速器上时硬件资源消耗过大的问题以及ADC单元和计算阵列功耗过高的问题。

技术领域

本发明涉及基于忆阻器的神经网络加速器技术领域，具体地，涉及一种面向忆阻器加速器的神经网络模型压缩方法及系统。

背景技术

随着硬件计算能力的不断增强，神经网络技术已成为当前最热门的研究方向。包括卷积神经网络算法在内的神经网络算法在诸如图像识别、目标检测和语义分割等领域都取得了不俗的成就。神经网络应用通常以边缘计算的形式进行部署，然而随着网络规模的不断增大，位于边缘端的CMOS专用神经网络加速器无法满足其日益增长的存储及算力需求，更无力解决存算分离的硬件架构种数据频繁搬运带来的性能瓶颈与功耗过大等问题。

近年来研究人员尝试突破传统存算分离架构的限制，并逐步聚焦到存内计算这一技术上。阻变存储器(ReRAM)的发明有很大的潜力从根本上解决上述因计算机理和体系架构带来的问题。阻变存储器又称为忆阻器，具有低功耗、结构简单、工作速度快以及阻值可变可控等优点，同时利用忆阻器可以实现布尔逻辑运算，向量-矩阵乘法运算等多种运算形式。近年来，基于忆阻器的神经网络加速器的提出为减少数据搬运，降低存储需求以及提高深度学习前向推理能力提供了一种有效的解决方案。

虽然忆阻器神经网络加速器在实现网络前向推理方面有极大的优势，然而该类加速器在用于边缘计算领域时仍存在一定问题。第一，原始稠密神经网络模型映射到忆阻器神经网络加速器时仍消耗大量硬件资源；第二，忆阻器加速器系统中忆阻器计算阵列及模数转换单元(ADC)功耗过高。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种面向忆阻器加速器的神经网络模型压缩方法及系统，能够解决原始模型映射到忆阻器加速器上时硬件资源消耗过大的问题以及ADC单元和计算阵列功耗过高的问题。

根据本发明提供的一种面向忆阻器加速器的神经网络模型压缩方法及系统，所述方案如下：

第一方面，提供了一种面向忆阻器加速器的神经网络模型压缩方法，所述方法包括：

通过阵列感知的规则化增量剪枝算法，裁剪原始网络模型获得忆阻器阵列友好的规则化稀疏模型；

通过二的幂次量化算法，降低ADC精度需求和忆阻器阵列中低阻值器件个数以总体降低系统功耗。

优选的，所述阵列感知的规则化增量剪枝算法包括：

阵列感知：在网络裁剪时针对忆阻器实际阵列尺寸进行剪枝粒度的调整；

增量剪枝与分层稀疏相结合：增量剪枝对神经网络模型的裁剪并恢复模型精度分层稀疏根据网络层在模型中的位置不同而对每层网络设定不同剪枝率参数，遵循着剪枝率按照低-高-低的策略对各层网络剪枝参数进行设定；

阈值校准：校准方案为将各行的L2范数除以行中有效列数，以实现归一化。

优选的，所述增量剪枝包括：

将剪枝率设成较低的初始值，使其在首次剪枝中只裁剪掉少量以忆阻器阵列行为粒度的权重；

通过重训练恢复之前的模型准确度；

根据剪枝率阶梯增量提高剪枝率以进一步裁剪模型；

通过重训练恢复精度，提高剪枝率再恢复精度的过程将一直执行直到整个模型的准确度达到设计的阈值目标同时网络训练次数达到设定的要求。

优选的，所述阈值校准包括：