[发明专利]深度可分离卷积结构的低比特量化方法

说明书

一种深度可分离卷积结构的低比特量化方法，该方法包括：选择量化系数对训练结束的深度可分离卷积神经网络的权重和特征图数据进行均匀量化；对训练结束的深度可分离卷积神经网络中的权重进行逐通道量化；利用特征图数据对深度可分离卷积神经网络进行逐层量化；基于训练集在训练结束的深度可分离卷积神经网络中进行前向运算，并对批量归一化层中的滑动平均参数进行更新；将更新后的批量归一化层中的滑动平均参数和可学习的参数融合到网络权重量化系数和偏置中，实现深度可分离卷积结构的低比特量化。本发明提供的深度可分离卷积结构的低比特量化方法无需任何有标签数据参与、计算简单且与传统方法相比提高了低比特量化后的准确率。

技术领域

本发明涉及深度学习和人工智能领域，尤其涉及用于一种深度可分离卷积结构的低比特量化方法。

背景技术

自2012年以来，深度卷积神经网络(CNN)在图像分类、图像分割、目标检测等计算机视觉领域获得广泛应用。在利用深度卷积神经网络解决问题时人们常常倾向于设计更为复杂的网络以期获得更高的性能。随之而来的是模型的复杂度极具提升，给嵌入式端模型的存储带来了很大的挑战，同时模型推理时间越来越长，延迟越来越大，给深度卷积神经网络在终端智能设备上的推广带来了很大的挑战。例如经典的网络模型VGG-16模型权值大小达到528M，在一般的智能手机上识别一张图像的时间高达3000+ms。

将深度卷积神经网络部署在嵌入式设备上能够大大减轻服务器的运算压力以及带宽压力。低比特量化是硬件上常用的一种提高乘加运算效率的方法，由于卷积神经网络的预测精度对参数变化不敏感，近年来低比特量化逐渐被用于硬件加速深度卷积神经网络。然而，直接对网络进行低比特量化会大大降低网络的精度，尤其是对于含有深度可分离卷积结构的网络，如MobileNet，ShuffleNet等，为了恢复网络精度，通常需要对量化后的网络重新进行训练并微调，耗费大量时间与资源。

发明内容

(一)要解决的技术问题

本发明的目的在于提供一种深度可分离卷积结构的低比特量化方法，以解决对网络进行低比特量化时网络精度下降的问题。

(二)技术方案

本发明提供了一种深度可分离卷积结构的低比特量化方法流程图，该方法包括以下步骤：

步骤1：选择量化系数对训练结束的深度可分离卷积神经网络的权重和特征图数据进行均匀量化，使得量化前后权重和特征图数据的最小均方误差最小；

步骤11：根据训练结束的深度可分离卷积神经网络中的权重、特征图数据分布和网络量化位数n，均匀构造量化系数表，构造方式为将数据绝对值的最大值均匀分为m份，第i个量化系s_i数值为：

假如深度可分离卷积神经网络中的权重、特征图数据非负，将这m个量化系数作为最终的量化系数表，否则，将m个量化系数的负值也加入表中作为最终的量化系数表；

步骤12：基于构造的量化系数表，分别对训练结束的深度可分离卷积神经网络的权重、特征图数据进行均匀量化，求解量化前后数据均方误差，并将最小均方误差对应的量化系数作为最终的量化系数，其中，对训练结束的深度可分离卷积神经网络中的权重、特征图数据采用的均匀量化方式如下：

首先将原始训练结束的深度可分离卷积神经网络中的权重、特征图数据除以量化系数并取整，取整方式为四舍五入，

其中，s表示量化系数，x表示训练结束的深度可分离卷积神经网络中的权重、特征图数据，y为计算的中间变量；

对量化后的深度可分离卷积神经网络中的权重、特征图数据根据网络量化位数进行截断，假如量化后的数据非负，截断方式为，

z＝max(min(y，2^n-1-1)，0)