[发明专利]基于网络权重初始和最终状态差异的冗余权重去除方法

摘要

本发明公开了基于网络权重初始和最终状态差异的冗余权重去除方法。该方法先分别对每层网络权重的初始状态和最终状态进行直方图统计，并进行曲线拟合；根据每层网络权重的初始状态和最终状态直方图的差异情况，确定网络剪枝区间；将位于网络剪枝区间内的网络权重去除后，对所得到的网络模型进行再训练；与原有网络准确度相比，若再训练后的网络模型达不到预设标准，则进一步按权值变化幅度大小筛选网络权重。与现有技术相比，本发明通过分析网络权重的初始状态和最终状态直方图差异可有效解决网络剪枝阈值的选取问题，本发明以权值变化幅度大小的方式优化网络权重，可进一步去除网络冗余权重。

主权项

1.基于网络权重初始和最终状态差异的冗余权重去除方法，其特征在于包括如下步骤：步骤1、先在网络模型训练之前保存其初始状态的网络权重，在训练结束后保存其最终状态的网络权重，分别对每层网络权重的初始状态和最终状态的分布信息进行直方图统计并进行曲线拟合，分别得到每层初始网络权重直方图拟合曲线ql和最终网络权重直方图拟合曲线其中下标l表示网络中的第l层网络,l的取值范围取决于网络共有卷积层和全连接层的总数；步骤2、根据初始网络权重直方图拟合曲线ql和最终网络权重直方图拟合曲线的差异，分别确定每层网络剪枝正阈值Tl+和负阈值Tl-所在的正阈值区间和负阈值区间并根据初始网络权重直方图拟合曲线ql和最终网络权重直方图拟合曲线之间的差值，得到差值曲线fl；步骤3、分别计算差值曲线fl在正阈值区间和负阈值区间上的斜率，选取在正阈值区间内斜率的极大值点作为网络剪枝正阈值Tl+的候选值点，加入正候选集Rl，选取在负阈值区间内斜率的极小值点作为负阈值Tl-的候选值点，加入负候选集Sl；步骤4、按照斜率从大到小依次选取正候选集Rl中的点，将该点对应的横坐标的值作为正阈值Tl+的正临时值同时按照斜率从小到大依次选取负候选集Sl中的点，将该点对应的横坐标的值作为Tl-的负临时值i表示第i次正临时值或负临时值的选取，直至正候选集Rl或负候选集Sl中的点遍历完为止；步骤5、将最终网络模型的第l层位于区间的网络权重置零，并在测试数据集进行第i次网络模型准确度测试，直至正候选集Rl或负候选集Sl的点遍历完为止，选取网络模型在测试数据集中取得最高准确度对应的作为网络剪枝区间(Tl-,Tl+)；步骤6、重复步骤1‐步骤5的操作，选取除l外的其它网络层的网络剪枝区间(Tl-,Tl+)，直至选取完所有网络层的网络剪枝区间(Tl-,Tl+)；步骤7、将最终网络模型位于网络剪枝区间(Tl-,Tl+)内的网络权重进行置零处理，实现每层网络的剪枝，得到已剪枝的网络模型；步骤8、将得到的已剪枝的网络模型进行再训练，并保持已剪枝的网络权重在再训练的过程中始终为0，得到剪枝和再训练的网络模型；步骤9、若剪枝和再训练的网络模型在测试数据集的准确度比最终网络模型的小于预设值，则停止操作，并保留剪枝和再训练的网络模型，否则，进行下一步操作；步骤10、计算每层最终网络权重与初始网络权重变化幅度，通过比较网络权重变化幅度与α×Tl-或α×Tl+的大小，重新对最终网络模型的各层网络权重进行置零处理，α表示