[发明专利]基于特征冗余分析的神经网络跨层剪枝方法

摘要

本发明公开了一种基于特征冗余分析的神经网络跨层剪枝方法，主要解决现有技术对扩张残差单元进行逐层剪枝会造成深度卷积层信息丢失的问题。其实现方案是：1)获取训练样本集；2)构建44层卷积神经网络；3)更新44层卷积神经网络参数；4)判断初始训练的更新次数是否达到100次：若是，则得到训练好的44层卷积神经网络，对训练好的44层卷积神经网络进行跨层剪枝，执行5)；否则，返回3)；5)对剪枝后的稀疏网络进行微调训练；6)判断微调训练的更新次数是否达到40次：若是，则得到微调后的稀疏网络，否则，返回5)。本发明减少神经网络中神经元或特征的退化，降低了神经网络的参数和存储尺寸，可用于移动端和嵌入式设备中。

主权项

1.一种基于特征冗余分析的神经网络跨层剪枝方法，其特征在于，包括如下：(1)获取训练样本集：选用CIFAR10数据集中的60000幅32×32的彩色图像作为输出样本集，共分为10个类，从每一类中随机选取5000幅图，共50000幅图构成输入训练样本集；(2)构建44层卷积神经网络：(2a)基于现有的基本扩张残差单元结构，加入降采样层后置策略，将深度卷积层卷积步长为2的扩张残差单元放置在具有相同参数设置的扩张残差单元的后部，得到一个44层卷积神经网络；(2b)并设置各层参数；(3)更新44层卷积神经网络参数：(3a)按照如下损失计算公式，计算44层卷积神经网络的损失值：其中，L表示44层卷积神经网络的损失值，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；γ表示44层卷积神经网络中逐点卷积层归一化后的权重，λ表示正则项的权重，||·||1表示L1范数操作；(3b)设初始训练的最大更新次数T1＝100，用损失值L更新44层卷积神经网络的每一层参数；(4)判断初始训练的更新次数是否达到100次，若是，则得到训练好的44层卷积神经网络及各层参数，执行步骤(5)，否则，返回步骤(3)；(5)对训练好的44层卷积神经网络进行跨层剪枝：(5a)取出训练好的44层卷积神经网络中每一个逐点卷积层归一化后的权重，构成权重向量γ，将所有权重向量γ合成一个向量，并将该向量的值按照升序排列，得到排序后的权重向量W；(5b)按照下式得到全局剪枝阈值在排序后的权重向量W中对应的索引It：It＝N×P其中，N表示权重向量W的个数，P表示当前设定的剪枝率；(5c)从排序后的权重向量W中取出索引It对应的权重值，作为全局剪枝阈值T；(5d)对训练好的44层卷积神经网络中每一个逐点卷积层设置一个与该层权重向量γ维度相同的模板向量M，将每层的权重向量γ中的值与全局剪枝阈值T进行比较：若权重向量γ中的值大于等于全局剪枝阈值T，则将模板向量M中对应位置的值设为1，反之，设为0；(5e)统计每一个模板向量M中值为1的个数，得到每一个逐点卷积层需要保留的特征通道的数目C，根据所有特征数目C构成的集合构建一个初始的稀疏网络；(5f)根据每一个模板向量M中值为1的位置，得到每一个逐点卷积层中需要保留的特征通道的索引，构成特征索引向量If；将训练好的44层卷积神经网络中每一个逐点卷积层的特征索引向量If对应的每一个特征通道的权重值，依次复制到构建好的初始稀疏网络中对应的位置，得到剪枝后的稀疏网络。(6)对剪枝后的稀疏网络进行微调训练，更新剪枝后的稀疏网络参数：(6a)按照如下损失计算公式，计算剪枝后的稀疏网络的损失值：其中，Ls表示剪枝后的稀疏网络的损失值，x表示输入训练样本集，n表示样本的总数，a表示样本x产生的预测值；y表示样本x的真实标签，取值为{0,1}；(6b)设微调训练的最大更新次数T2＝40，用损失值Ls更新剪枝后的稀疏网络的每一层参数；(7)判断微调训练的更新次数是否达到40次，若是，则得到微调后的稀疏网络及各层参数，否则，返回步骤(6)。