[发明专利]基于阻变存储器的量化因子优化的图像分类方法及装置

说明书

本发明公开了基于阻变存储器的量化因子优化的图像分类方法及装置，分别构建基于阻变存储器的浮点神经网络模型及与其对应的基于阻变存储器的神经网络量化模型，通过一种新的量化因子优化损失函数结合分类损失函数，对神经网络量化模型进行训练，并且与阻变存储器的特性结合，通过迭代优化使图像分类神经网络模型学习到的量化因子尽可能的接近2的幂次方，在推理阶段，将量化后的值映射到阻变存储器阵列的电压值和电导值，并对输出电流进行移位操作，得到卷积层输出量化后的值，最终得到基于阻变存储器的神经网络量化模型的图像分类结果，由于每层的量化因子通过基于阻变存储器的神经网络模型学习得到，能够加快模型的推理速度。

技术领域

本发明涉及阻变存储器、神经网络加速器和图像分类技术领域，尤其是涉及基于阻变存储器的量化因子优化的图像分类方法及装置。

背景技术

随着深度学习的快速发展，神经网络技术已经广泛应用于图像识别、语音识别、自然语言处理等多种领域。神经网络的应用通常部署在边缘设备端。传统的芯片架构中，内存和计算分离，计算单元要先从内存中读取数据，计算完成后再存回内存。然而面对神经网络高并发的需求，传统的芯片架构需要频繁的搬运数据，会导致巨大的功耗和计算瓶颈。

ReRAM（Resistive random-access memory，阻变存储器）具有低功耗，结构简单，工作速度快以及阻值可控可变等优点，同时可以实现逻辑运算，矩阵乘法等多种运算形式。利用ReRAM存算一体的特性可以减少数据的搬运，降低存储的需求。因此，ReRAM有很大的潜力可以解决传统芯片架构所带来的问题。近年来，基于ReRAM的神经网络加速器，为图像分类模型的神经网络进行的推理，提供了一种有效的解决方案。

虽然ReRAM对于实现神经网络的推理有很大的优势，但是在实现的过程中需要对基于神经网络的图像分类模型进行压缩，这会导致精度的损失。合理有效的量化方法在精度损失较低的情况下，可以减少数据的存储空间，提高计算的速度。由于ReRAM器件的电导范围有限，需要有限的bit位宽来存储神经网络的权重，由于ADC的精度有限，因此网络当前层的输出位宽有限。然而在进行卷积算子操作后会超出当前层的输出位宽，因此在进行卷积算子操作后需要通过移位来做截断操作，以保证用有限的位宽来存储当前层的输出值。如果未对量化因子进行优化，会降低神经网络对于图像识别的精度。目前的量化方法通常采用两种方法来计算量化因子：第一种量化方法，通过统计最大最小值的方法计算量化因子，该方法的缺点在于，在推理阶段，量化因子的计算需要通过统计浮点值的最大最小值来获取，该操作会降低模型的推理速度。另一种量化方法，量化因子直接采用量化后的最大值，该方法的缺点在于，在量化的过程中，需要将浮点值先归一化到0到1的范围，该操作在ReRAM上无法实现，需要在PC端来计算，同样会降低模型的推理速度。且两种量化方法在8bit推理精度上均有损失。现有的基于ReRAM的量化方法对于量化因子没有进行更好的优化，导致模型的推理速度较低，量化精度有所损失。

发明内容

为解决现有技术的不足，通过移位截断处理，避免图像分类神经网络中的层输出超出存储位宽，同时通过优化量化因子，降低了图像分类模型在ReRAM上推理时，由于移位操作所带来的精度的损失，提升图像分类模型推理速度，本发明采用如下的技术方案：

基于阻变存储器的量化因子优化的图像分类方法，包括如下步骤：

步骤S1：构建基于阻变存储器的浮点神经网络模型，包括输入层、卷积层，通过训练集图像进行浮点神经网络模型预训练，得到预训练的浮点神经网络模型参数；

步骤S2：构建基于阻变存储器的神经网络量化模型，为浮点神经网络模型的相应层，构建对应的量化层和反量化层；