[发明专利]基于阻变存储器的量化因子优化的图像分类方法及装置

权利要求书

1.基于阻变存储器的量化因子优化的图像分类方法，其特征在于包括如下步骤：

步骤S1：构建基于阻变存储器的浮点神经网络模型，包括输入层、卷积层，通过训练集图像进行浮点神经网络模型预训练，得到预训练的浮点神经网络模型参数；

步骤S2：构建基于阻变存储器的神经网络量化模型，为浮点神经网络模型的相应层，构建对应的量化层和反量化层；

步骤S3：将训练集图像输入基于阻变存储器的神经网络量化模型中，并加载预训练的浮点神经网络模型参数，进行量化感知训练，得到的量化感知训练后的基于阻变存储器的神经网络量化模型，包括浮点神经网络模型相应层的量化因子以及量化感知训练后的神经网络量化模型参数；神经网络量化模型的总损失函数包括分类损失函数和量化因子优化损失函数；量化因子优化损失函数如下：

其中表示取绝对值操作，表示神经网络量化模型当前层数， 表示第层量化因子的符号函数，表示神经网络量化模型的总层数；

步骤S4：将量化感知训练后的基于阻变存储器的神经网络量化模型，映射到阻变存储器忆阻器上，输入测试集图像，进行前向推理测试，其中输入层推理阶段量化后的值映射为阻变存储器阵列的电压值，卷积层量化后的卷积核映射为阻变存储器阵列的电导值，对通过电压值与电导值得到的输出电流进行移位操作，得到卷积层输出量化后的值，最终得到基于阻变存储器的神经网络量化模型的图像分类结果。

2.根据权利要求1所述的基于阻变存储器的量化因子优化的图像分类方法，其特征在于：所述基于阻变存储器的浮点神经网络模型还包括激活层和全连接层，所述步骤S3的量化感知训练包括如下步骤：

步骤S3-1：对输入层通过输入量化层进行量化操作，得到量化以后的输入值，然后再通过输入反量化层进行反量化操作，得到反量化以后的输入值；

步骤S3-2：通过第一卷积量化层进行量化操作，得到量化以后的卷积核，通过第一卷积反量化层进行反量化操作，得到反量化以后的卷积核；

步骤S3-3：将反量化以后的输入值与反量化以后的卷积核进行卷积操作，得到卷积输出值；

步骤S3-4：将通过第一激活量化层进行量化操作，得到量化以后的激活值，通过第一激活反量化层进行反量化操作，然后再通过ReLU激活函数得到反量化以后的激活值；

以此类推，得到全连接层的浮点值，然后通过softmax分类器得到网络的输出，通过量化因子优化损失函数更新网络参数和每层的量化因子，直至网络收敛，最后得到量化感知训练后的基于阻变存储器的神经网络量化模型；

总损失函数通过结合分类损失函数和量化因子优化损失函数，训练神经网络量化模型，更新神经网络模型的权重参数和量化因子，直至网络收敛。

3.根据权利要求2所述的基于阻变存储器的量化因子优化的图像分类方法，其特征在于：所述步骤S3-1中量化操作如下：

其中表示输入层的浮点值，表示四舍五入，表示截断操作， 表示量化后的最小值，表示量化后的最大值，表示输入层待训练的浮点值的量化因子，由神经网络模型通过优化损失函数得到。

4.根据权利要求2所述的基于阻变存储器的量化因子优化的图像分类方法，其特征在于：所述步骤S4的映射及前向推理测试过程如下：

首先将测试集图像作为基于阻变存储器的神经网络量化模型的输入，将输入层、第一卷积量化层、第一激活量化层进行量化，量化方法如下：

其中表示输入层的浮点值，表示第一卷积量化层卷积核的浮点值，表示第一激活量化层的输入浮点值，表示神经网络量化模型训练好的输入层的量化因子，表示神经网络量化模型训练好的第一卷积量化层的量化因子，表示神经网络量化模型训练好的第一激活量化层的量化因子，表示输入层在推理阶段量化后的值，然后将映射为电压值，将网络学习到的第一卷积量化层的卷积核进行量化，得到量化后的卷积核，然后将映射为基于阻变存储器阵列的电导值，输出的电流为卷积操作后的值，其次将电流值进行移位操作，得到卷积层输出量化后的值，然后通过最大池化操作得到池化后的值；以此类推，得到全连接层的量化值，将全连接层量化值的最大值的索引作为神经网络量化模型预测的图像类别。