[发明专利]可用于轻量级神经网络的纯整型量化方法

说明书

本发明提供了一种可用于轻量级神经网络的纯整型量化方法，其特征在于，包括以下步骤：获得当前一层特征图各通道的像素值的最大值；将特征图每个通道的每一个像素的像素值除以最大值的t次方，t∈[0,1]；将权重各通道的值乘以对应特征图通道的像素值的最大值；经过处理的特征图与经过处理的权值卷积后得到下一层特征图。在SkyNet和MobileNet上分别验证了本发明提供的算法，在SkyNet上取得了INT8无损量化，在MobileNetv2上取得了迄今最高的量化精度。

技术领域

本发明涉及一种可用于轻量级神经网络的量化方法。

背景技术

近年，大量工作探究了针对传统模型的量化技术。但是这些技术应用到轻量级网络时会带来较大的精度损失。比如：Jacob Benoit et al.Quantization and training ofneural networks for efficient integer-arithmetic-only inference.In CVPR,pages2704–2713,2018在量化MobileNetv2时在ImageNet数据集精度从73.03％降到0.1％；Raghura Krishnamoorthi.Quantizing deep convolutional networks for efficientinference:A whitepaper.CoRR,abs/1806.08342,2018取得了2％的精度损失。为了恢复这些精度损失，很多工作采用重训练或训练时量化技术。但是这些技术很耗时，并且需要数据集支持。Nagel等人提出了DFQ算法来解决上面提到的问题，他们认为在权重的分布差异导致了传统量化方法在采用了深度分离卷积的模型上表现差。为此，Nagel等人提出了跨层权重均衡，将权重的均衡性在不同的层之间做调整。但是这项技术只能应用在以ReLU作为激活函数的网络模型，但是目前大部分轻量级网络采用了ReLU6。直接将ReLU6替换为ReLU又会造成显著的精度损失。并且Nagel等人提出的方法不适用于纯整型量化。

发明内容

本发明要解决的技术问题是：将轻量级神经网络技术和量化技术简单地组合在一起会导致或者显著的精度下降，或者是较长的重训练时间；此外，目前很多量化方法只将权重和特征图量化，但是偏置和量化系数还是浮点数，这对ASIC/FPGA很不友好。

为了解决上述技术问题，本发明的技术方案是提供了一种可用于轻量级神经网络的纯整型量化方法，其特征在于，包括以下步骤：

步骤1、设特征图有N个通道，N≥1，获得当前一层特征图各通道的像素值的最大值；

步骤2、对特征图每个通道的像素做如下处理：

将特征图第n个通道的每一个像素的像素值除以步骤1获得的第n个通道的最大值的t次方，t∈[0,1]；

有N组与下一层特征图的N个通道相对应的权值，每组权值由N个与当前一层特征图的N个通道相对应的权值组成，对每组权值做如下处理：

第n组权值中的N个权值分别对应乘以步骤1获得的N个通道的像素值的最大值；

步骤3、经过步骤2处理的特征图与经过步骤2处理的N组权值卷积后得到下一层特征图。

优选地，当所述t＝0时，没有做不均衡性转移；当所述t＝1时，将当前一层特征图通道间的不均衡性全部转移到了后一层的权重。

优选地，所述当前一层为轻量级神经网络中除最后一层外的任意一层。

在SkyNet和MobileNet上分别验证了本发明提供的算法，在SkyNet上取得了INT8无损量化，在MobileNetv2上取得了迄今最高的量化精度。

附图说明

图1为1X1卷积做不均衡转移的示意图。

具体实施方式