[发明专利]网络裁剪方法、装置及计算机可读存储介质

说明书

本发明公开了一种网络裁剪方法，包括：获取网络各层的输出数据；根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道；根据所述保留通道重新训练模型，获得新的模型。本发明还公开了一种网络裁剪装置、计算机可读存储介质。本发明能够获得网络各层的主成分通道，并根据主成分通道重新训练模型，一次性获得网络性能高的模型网络。

技术领域

本发明涉及深度学习领域，尤其涉及一种网络裁剪方法、装置及计算机可读存储介质。

背景技术

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度模型在取得优越性能的同时往往伴随着极高的存储空间需求和计算复杂度，而现有的通用计算平台(如CPU或GPU等)很难实现高能效的神经网络计算。为了满足深度神经网络在不同的应用场景(如云端和终端)下的算力和能效需求，需要在算法层面运用量化、剪枝等方法进行模型压缩。目前一般通过设定参数阈值方式对网络直接对网络进行裁剪，这种方式无法确保裁剪后的网络性能好坏，需要进行多次裁剪或训练的迭代才能得到合适的网络。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种网络裁剪方法、装置及计算机可读存储介质，旨在解决现有技术无法确保裁剪后的网络性能好坏，需要进行多次裁剪或训练的迭代才能得到合适的网络的问题。

为实现上述目的，本发明提供一种主题网络裁剪方法，所述网络裁剪方法包括：

获取网络各层的输出数据；

根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道；

根据所述保留通道重新训练模型，获得新的模型。

优选地，所述根据所述输出数据和主成分分析算法进行通道裁剪，获得保留通道的步骤包括：

根据所述输出数据确定数据集的协方差矩阵；

对所述协方差矩阵进行特征分解，获得特征值的对角矩阵；

根据所述对角矩阵和预设累积能量算法确定保留通道。

优选地，所述根据所述对角矩阵和预设累积能量算法确定保留通道的步骤包括：

将所述对角矩阵中的特征值根据数值大小进行排列；

按照排列顺序对特征值进行逐个累加，并除以特征值总和，获得不同特征值累加数量对应的累积能量值；

根据所述累积能量值和预设能量阈值确定保留通道数量；

根据所述保留通道数量和通道的卷积权重值参数确定保留通道。

优选地，所述将所述对角矩阵中的特征值根据数值大小进行排列的步骤包括：

将所述对角矩阵中的特征值按照从大到小的顺序排列；

所述根据所述累积能量值和预设能量阈值确定保留通道数量的步骤包括：

确定累积能量值大于或等于所述预设能量阈值的最小特征值累加数量，并将所述最小特征值累加数量作为保留通道数量；

所述根据所述保留通道数量和通道的卷积权重值参数确定保留通道的步骤包括：

将通道根据卷积权重值参数大小进行排列；

按照从大到小的顺序根据所述保留通道数量获得保留通道。

优选地，所述对所述协方差矩阵进行特征分解，获得特征值的对角矩阵的步骤之后还包括：