[发明专利]基于特征值区域的动态量化方法、系统及介质

说明书

本发明提供了一种基于特征值区域的动态量化方法，包括：步骤1：定位输入特征图中的敏感区域和非敏感区域；步骤2：对敏感区域和非敏感区域执行混合精度卷积；步骤3：将卷积结果提供给激活层和池化层；步骤4：在不同敏感度区域之间进行切换。本发明对输入特征图和权重进行量化，进而可以更好地保留NN的准确率；DRQ可以支持层内、甚至逐像素的量化，这种细粒度的量化策略为量化提供了更大的自由，可以在尽可能降低计算精度的情况下保证NN准确率。

技术领域

本发明涉及信息处理技术领域，具体地，涉及一种基于特征值区域的动态量化方法、系统及介质。

背景技术

神经网络(NN)已成为解决各种问题的关键技术，例如图像识别，自然语言处理和生物医学问题。NN一般包括感知机、卷积神经网络、循环神经网络等，由于卷积神经网络非常适合提取图像特征，因此在图像领域应用广泛，卷积神经网络的结构如图2所示；循环神经网络具有记忆性，在自然语言处理领域应用广泛，循环神经网络的结构如图1所示。

面对NN对计算能力的日益增长的需求，量化技术被认为是减少NN计算量的有效技术。传统的量化技术是通过将浮点数据(FP32)转换为整型数据(INT)或将数据聚类为组，可以大大减少工作量和所需的内存带宽，从而在性能上具有整体优势。传统的量化技术会先对模型的权重值的分布进行分析，然后根据其分布对模型的权重进行量化。这些技术成功地将模型的权重的精度从浮点数降低到整型数。

量化在先前的研究中被广泛探索。通过将权重聚类成组来量化权重，以便少量值足以代表所有权重。实验表明，他们的工作将位数从32减少到5。通过8位整型数(INT8)单元执行推理，因此，他们的量化方案以较低的设备延迟实现了NN准确率。但是，上述量化技术在减小位宽方面仍有改进的余地。为了获得更高的压缩率，提出了一些方法，仅需2位(INT2)或3位(INT3)的权重来量化NN。具体来说，将权重二值化为-1或1；将权重二值化为-w或w；将权重映射为-wN，0或wP。然而，这些工作以NN准确率损失为代价实现了高压缩率。分别对NN的各层选择一种最合适的量化精度，这种方式可以在现有的硬件加速器上得以支持，与8位量化方法相比，减少了1.4-1.95倍的延迟，而NN准确率损失可忽略不计。将NN的第一层的激活值量化为16位，将其他层的激活值量化为4位；同时分析了权值的分布，根据分布静态地将权值的数值大小进行量化，量化成4位(INT4)和8位(INT8)。

如图3下方所示，传统的量化方法都是通过对权重的数值大小进行分析，而后将权重量化为低精度整型数据，且量化完成后权重就不会再发生变化了。

而我们的方法则如图3上方所示，我们首先对NN的每层的输入数据(inputfeature map)进行敏感性分析，并将输入数据根据敏感性分成敏感区域(sensitiveregion)和非敏感区域(insensitive region)；对sensitive region我们用高精度的权值与之进行卷积运算，对insensitive region用低精度的权值与之进行卷积运算。

总的来说，我们的方案：一种基于特征值区域的动态的量化方法(DRQ)与现有技术的区别在于：1)我们是根据input feature map的敏感区域对input feature map和权重进行量化，进而可以更好地保留NN的准确率。这个想法是使高精度计算发生在input featuremap中正确的位置。由于输入图像根据实时应用而变化，因此只有动态方案才能捕获基于每个图像的特征；2)常规量化方案仅支持逐网络或逐层量化，但是DRQ可以支持层内、甚至逐像素的量化，这种细粒度的量化策略为量化提供了更大的自由，可以在尽可能降低计算精度的情况下保证NN准确率。

量化是一种用于深度神经网络推理加速的有效技术。但是，常规的量化技术要么在网络或层级进行应用，这种方法无法利用细粒度的量化来进一步提高速度，要么仅应用于权重，而没有关注可能导致较低的NN精度的输入特征图。