[发明专利]基于非均匀分组的多尺度轻量型深度卷积神经网络模型

说明书

本发明公开了基于非均匀分组的多尺度轻量型深度卷积神经网络模型,属于神经网络结构优化加速研究领域。本发明基于非均匀分组的多尺度轻量化特征融合卷积层，减少神经网络的参数量以及运算量。模块主要由1*1的点卷积层，神经网络模型(M_blockNet_v1)，深度卷积层以及基于非均匀分组的多尺度融合层构成；神经网络模型(M_blockNet_v1)，应用于CASIA‑HWDB1.1手写汉字的数据集、Facial Keypoints Detection数据集以及Celeba数据集三个数据集上与经典的轻量型神经网络进行。其显著效果是提高神经网络的运算效率以及精度，在对精度影响较小的情况下，极大的提升了网络的运算速度。

技术领域

本发明涉及多尺度轻量型深度卷积神经网络模型，尤其涉及基于非均匀分组的多尺度轻量型深度卷积神经网络模型，属于神经网络结构优化加速研究领域。

背景技术

在神经网络的优化加速主要有轻量型神经网络结构设计、权重分解、权重剪枝、知识提取、量化加速等方面。权重分解大多数是在训练后对神经网络的权重进行低秩分解，用两个较小的权重矩阵来替代原有的大的卷积核，其会影响网络的精度。

权重剪枝的训练过程需要经过预训练、剪枝、微调训练等3个步骤的循环，因此其训练过程比较复杂。

神经网络知识提取需要首先训练一个大的教师网络，之后在通过大的教师网络训练小的学生网络，因此其训练过程也比较复杂。

神经网络量化加速则是通过减少权值种类的数目来保存权值，减少了网络的存储量，但是会对精度产生较大的影响。神经网络卷积结构设计则是通过直接设计轻量型的卷积结构来达到直接的加速效果，没有复杂的训练过程，同时对精度的影响不大。

在神经网络知识提取中主要研究通过首先训练一个大的神经网络，然后用其来训练一个较小的网络。将知识从大的神经网络转移向小的神经网络，进行知识的提取精简。Hinton等人提出通过将模型集合中的知识提炼到单个模型中，可以简化模型达到更方便的部署模型的效果。Romero等人将知识集成到比教师网络更深更窄的学生网络。Yim等人研究教师-学生策略的神经网络压缩方法，并提出一种方法压缩神经网络，使得小的神经网络具备较高的性能。在神经网络知识提取中首先训练一个大的且效果较好的网络，之后对其中的知识进行提取训练，最终得到一个较小的网络用来进行预测。因此其网络训练过程比较复杂。

神经网络量化加速主要作用是：(1)去除神经网络中的表示冗余，减少网络存储所占的空间；(2)一些特殊的量化方法(例如：二进制权重)可以将浮点运算转化为位运算(即用加法替换乘法操作)从而加速网络的运算速度。

比较流行的几种不同的神经网络权重量化方式有：吴等人提出量化卷积神经网络模型，用来减少卷积神经网络模型的存储以及加速计算。陈等人提出使用低成本的散列函数将连接中的权重随机分布到哈希表中，同一个哈希表中的所有连接共享一个参数值。在存储时只需存储共享权值和散列索引，因此节省了卷积神经网络模型的存储成本。Courbariaux等人提出BinaryConnect网络结构在前向和反向传播训练期间使用具有二进制权重的DNN，大大减少了运行的时间。Rastegari等人提出XNOR-Net网络结构在其中滤波器和卷积层的输入均为二进制，使用二进制运算来近似卷积。这使得卷积运算速度提高58倍，节省内存32倍。Hubara提出QNN(量化神经网络)，该网络中使用量化的权重计算参数梯度，并在正向传递期间使用位运算替换算术运算。QNN减少了内存访问，并大幅度的降低功耗以及提高运算速度。神经网络权重量化主要是减少了神经网络所占的内存，以及实现了部分的加速，此外还通过位运算代替算术运算加快了网络的运算。但是由于其进行了量化，则必然减少了权重值的多样性，因此造成了一定程度的精度损失。