[发明专利]一种面向轻量级神经网络的模型优化和压缩方法

权利要求书

1.一种面向轻量级神经网络的模型优化和压缩方法，其特征在于，包括：

利用改进参数对ReLU函数进行改进，并对所述改进参数进行训练更新；

将改进的自门控函数与改进后的所述ReLU函数进行融合，得到融合激活函数；

根据获取的剔除阈值对卷积神经网络模型进行压缩。

2.如权利要求1所述的面向轻量级神经网络的模型优化和压缩方法，其特征在于，利用改进参数对ReLU函数进行改进，并对所述改进参数进行训练更新，包括：

根据获取的原始ReLU函数，对所述原始ReLU函数中自变量小于零的对应的表达式中加入改进参数，同时扩大所述自变量范围至小于或等于零，并利用链式法则对所述训练参数进行更新。

3.如权利要求1所述的面向轻量级神经网络的模型优化和压缩方法，其特征在于，利用改进参数对ReLU函数进行改进，并对所述改进参数进行训练更新，还包括：

根据链式法则计算出改进后的ReLU函数对应的梯度表达式，结合对应的权值共享变量，得到所述训练参数的梯度表达式，并结合动量法对所述训练参数进行更新。

4.如权利要求3所述的面向轻量级神经网络的模型优化和压缩方法，其特征在于，将改进的自门控函数与改进后的所述ReLU函数进行融合，得到融合激活函数，包括：

利用ReLU6函数将自门控函数中的Sigmoid函数进行替换，并与改进后的ReLU函数进行融合，将自变量大于零的表达式采用改进的ReLU函数，自变量小于或等于零的表达式采用改进后的自门控函数，得到融合激活函数。

5.如权利要求4所述的面向轻量级神经网络的模型优化和压缩方法，其特征在于，根据获取的剔除阈值对卷积神经网络模型进行压缩，包括：

对获取的卷积神经网络模型进行训练，并记录原始训练参数，同时根据获取的剔除阈值，自下而上的删除所述卷积神经网络模型中对应的卷积核数量。

6.如权利要求5所述的面向轻量级神经网络的模型优化和压缩方法，其特征在于，根据获取的剔除阈值对卷积神经网络模型进行压缩，还包括：

将删除对应数量的所述卷积核后的所述卷积神经网络模型进行训练，并将得到的对应的训练参数与所述原始训练参数进行参数减少量对比，直至模型精度与参数量平衡。