[发明专利]一种基于查表的神经网络量化方法

说明书

本申请涉及一种基于查表的神经网络量化方法。所述方法包括：分别构建与神经网络中各层参数及输入数据浮点数据与量化值之间的映射表，将多个数据样本依次输入已训练的全精度神经网络中进行迭代训练，在全精度神经网络对各所述数据样本进行处理时，每一层的参数及输入数据分别根据对应的映射表转化为相应的预设量化值，再根据全精度神经网络对应的损失函数进行反向传播且利用随机梯度下降方法对所述全精度神经网络以及映射表的参数进行优化，直至完成预设次数的迭代训练后，得到量化后的神经网络。采用本方法得到的量化后的神经网络具有较高量化精度和量化效率。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于查表的神经网络量化方法。

背景技术

受动物神经网络启发，人们设计出人工神经网络，使其能够自主地从数据中学习经验。近年来，人工神经网络发展十分迅速，在计算机视觉、自然语言处理、推荐系统、机器人等领域得到了成功的应用。

随着人工神经网络的不断发展，网络的层数不断加深，参数量不断增大，在性能得到显著提高的同时，对计算资源的需求也越来越大。随着智能手机、智能穿戴设备等智能终端的普及，在计算资源受限的嵌入式设备中运行神经网络的需求越来越高。

为了降低神经网络的计算开销，权重分解、剪枝、量化、蒸馏等技术相继被提出，有效降低了神经网络对计算资源的需求，提高了神经网络的运行效率，促进了神经网络智能手机等终端设备上的部署。

传统的量化方法多采用取整计算，对神经网络中的权值和激活值进行量化。这种量化方式没有考虑网络中权值和激活值的“钟形”分布规律，同等地对待每个值，具有较大的量化误差。为了克服这一问题，一些已有方法利用复杂计算首先将权值和激活值转换到另一个域中，之后利用取整操作进行量化。这些方法虽然取得了更低的量化误差及更优的性能，复杂的转换操作却带来了额外的计算负担。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高神经网络的量化精度和量化效率的一种基于查表的神经网络量化方法。

一种基于查表的神经网络量化方法，所述方法包括：

构建映射表，所述映射表包括参数映射表以及输入数据映射表，所述参数映射表包括神经网络中每一层的参数浮点数到预设量化值之间的映射关系，所述输入数据映射表包括神经网络中每一层的输入数据浮点数到预设量化值之间的映射关系；

将多个数据样本依次输入已训练的全精度神经网络中进行迭代训练，在所述全精度神经网络对各所述数据样本进行处理时，每一层的参数及输入数据分别根据对应的所述参数映射表及输入数据映射表转化为相应的预设量化值；

根据所述全精度神经网络对应的损失函数进行反向传播且利用随机梯度下降方法对所述全精度神经网络以及映射表的参数进行优化，直至完成预设次数的迭代训练后，得到量化后的神经网络。

在其中一实施例中，所述构建映射表包括：

根据神经网络每一层的参数或输入数据获取M＝2^b-1组辅助参数{g₁₁,g₁₂,…,g_1K},{g₂₁,g₂₂,…,g_2K},…,{g_M1,g_M2,…,g_MK}，其中b为预设量化值，K为预设值；

获取温度参数t；

采用softmax分别计算每组辅助参数在温度参数t条件下的分布概率{p₁₁,p₁₂,…,p_1K},{p₂₁,p₂₂,…,p_2K},…,{p_M1,p_M2,…,p_MK}；