[发明专利]基于网络权重初始和最终状态差异的冗余权重去除方法

说明书

本发明公开了基于网络权重初始和最终状态差异的冗余权重去除方法。该方法先分别对每层网络权重的初始状态和最终状态进行直方图统计，并进行曲线拟合；根据每层网络权重的初始状态和最终状态直方图的差异情况，确定网络剪枝区间；将位于网络剪枝区间内的网络权重去除后，对所得到的网络模型进行再训练；与原有网络准确度相比，若再训练后的网络模型达不到预设标准，则进一步按权值变化幅度大小筛选网络权重。与现有技术相比，本发明通过分析网络权重的初始状态和最终状态直方图差异可有效解决网络剪枝阈值的选取问题，本发明以权值变化幅度大小的方式优化网络权重，可进一步去除网络冗余权重。

技术领域

本发明涉及模式识别和人工智能技术领域，具体涉及深度神经网络的加速与压缩方面。

背景技术

近年来，深度神经网络(Deep Neural Network,DNN)在计算机视觉、语音识别以及自然语言处理等多个领域取得卓越成效，并得到广泛应用。研究表明，DNN在特征提取方面具有出色的表现，网络层越深，其网络的表征能力越强。然而，由于网络层数的加深需要更多计算能力和存储资源的开销，因此难以在存储和计算资源有限的硬件设备上进行部署，尤其是移动设备。

网络模型参数包括网络权重和偏置，目前使用的训练方法所得到的网络模型通常包含大量冗余的参数。如何有效地解决DNN网络参数的冗余问题，至今已有不少的研究，主要可以分为三类：第一类是使用网络权重的量化值或者近似值替代原有权重的方法，第二类是变换网络结构方法，如使用全局平均池化的网络层来替换全连接层以减少神经网络的参数数量，第三类是网络剪枝方法。

LeCun等人于1990年在Advances in Neural Information Processing Systems会议上发表的论文《Optimal brain damage》和Hassibi等人于1993年在PortugueseConference on Artificial Intelligence会议上发表的《Second order derivativesfor network pruning:Optimal brain surgeon》，均提出通过使用二阶导数或者Hessian矩阵的信息来权衡网络的复杂度和训练集的误差，然而，随着网络的大型化和复杂化，难以计算每一个参数在Hessian矩阵中二阶导数。

1997年，Castellano等人在期刊IEEE Transactions on Neural Networks发表论文《An iterative pruning algorithm for feedforward neural networks》中提出了一种迭代剪枝方法，该方法选择对所有模式输出能量最小的隐节点作为删除节点。引人关注的是，2015年，Han等人在Advances in Neural Information Processing Systems会议上发表论文《Learning both weights and connections for efficient neural network》中提出了根据网络中层与层神经元间连接的重要性决定是否去除神经元间的连接，并保证原有网络性能几乎不下降。然而，关于网络剪枝阈值的确定和重要连接参数的选取问题，Han等人没有给出有效的解决方法。

发明内容

本发明的目的在于克服现有网络剪枝方法在剪枝阈值的确定和重要连接权重的选取方面的不足，提出了一种新的有效网络剪枝阈值的确定和重要连接权重的选取的方法。

本发明基于网络权重初始和最终状态差异的冗余权重去除方法是一种基于网络权重的初始状态和最终状态差异的重要网络连接权重的选取和冗余权重的去除方法。

本发明的目的通过下述技术方案实现：

基于网络权重初始和最终状态差异的冗余权重去除方法，包括如下步骤：