[发明专利]一种面向轻量级神经网络的模型优化和压缩方法

说明书

本发明公开了一种面向轻量级神经网络的模型优化和压缩方法，首先向原始ReLU函数中加入改进参数对ReLU函数进行改进，并利用链式法则和动量法对所述改进参数进行更新；其次利用ReLU6函数将自门控函数中的Sigmoid函数进行替换，并与改进后的ReLU函数进行融合，得到融合激活函数；最后，根据获取的剔除阈值，自下而上的删除对应数量的卷积核对卷积神经网络模型进行压缩，直至模型精度与参数量平衡，提升轻量级神经网络模型的性能。

技术领域

本发明涉及卷积神经网络技术领域，尤其涉及一种面向轻量级神经网络的模型优化和压缩方法。

背景技术

深度学习已经遍布社会每一个角落，对当今人类日常生活产生了深远影响，尤其是卷积神经网络CNN(Convolution Neural Network)为代表的深度学习技术，在计算机视觉领域得到了巨大发展，分别在目标检测、图像分类、人体姿态估计等领域都极大超越了传统算法，让它成为了图像分析重要的应用技术。

移动互联网的兴盛使手机成为了生活的必需品，移动终端的重要性日趋上升。由于网络模型越来越复杂，在轻量级神经网络问世之前，传统的做法是把模型部署在云端，通过移动终端与云端的交互来实现移动应用场景需求。

但是由于数据在传输过程中受到网络延迟、带宽等一系列因素使得这项技术的发展受到限制。近几年，人们移动设备的计算能力和存储能力都有了很大的提高，与此同时轻量级卷积神经网络例如SqueezeNet、ShuffleNet、MobileNet的问世，打破了常规思维。它们的出现使得模型可以直接部署在移动设备上，并且凭借着良好的精度，小到可以忽略的模型体积以及高效的运行速度不知不觉间让移动终端中的应用变得“聪明”起来。这样一来，构建性能更加优秀的基于移动终端的轻量级神经网络成为了当下的研究热点。

发明内容

本发明的目的在于提供一种面向轻量级神经网络的模型优化和压缩方法，提升轻量级神经网络模型的性能。

为实现上述目的，本发明提供了一种面向轻量级神经网络的模型优化和压缩方法，包括：

利用改进参数对ReLU函数进行改进，并对所述改进参数进行训练更新；

将改进的自门控函数与改进后的所述ReLU函数进行融合，得到融合激活函数；

根据获取的剔除阈值对卷积神经网络模型进行压缩。

其中，利用改进参数对ReLU函数进行改进，并对所述改进参数进行训练更新，包括：

根据获取的原始ReLU函数，对所述原始ReLU函数中自变量小于零的对应的表达式中加入改进参数，同时扩大所述自变量范围至小于或等于零，并利用链式法则对所述训练参数进行更新。

其中，利用改进参数对ReLU函数进行改进，并对所述改进参数进行训练更新，还包括：

根据链式法则计算出改进后的ReLU函数对应的梯度表达式，结合对应的权值共享变量，得到所述训练参数的梯度表达式，并结合动量法对所述训练参数进行更新。

其中，将改进的自门控函数与改进后的所述ReLU函数进行融合，得到融合激活函数，包括：

利用ReLU6函数将自门控函数中的Sigmoid函数进行替换，并与改进后的ReLU函数进行融合，将自变量大于零的表达式采用改进的ReLU函数，自变量小于或等于零的表达式采用改进后的自门控函数，得到融合激活函数。

其中，根据获取的剔除阈值对卷积神经网络模型进行压缩，包括：

对获取的卷积神经网络模型进行训练，并记录原始训练参数，同时根据获取的剔除阈值，自下而上的删除所述卷积神经网络模型中对应的卷积核数量。

其中，根据获取的剔除阈值对卷积神经网络模型进行压缩，还包括：