[发明专利]一种基于剪枝压缩神经网络的遥感图像分类方法

说明书

本发明公开了一种基于剪枝压缩神经网络的遥感图像分类方法，包括：对遥感图像识别问题训练一个初始的神经网络模型，将所述模型作为待剪枝的初始模型；利用初始模型学习到的输出函数对参数微小改变的敏感性来逐层计算模型中参数的敏感性矩阵；对参数的敏感性矩阵的值进行排序，修剪掉不重要的参数；重新训练未被剪枝的剩余权重；当一层修剪完成之后，对下一层的修剪过程重复步骤即可；使用修剪完成后的神经网络模型对遥感图像进行分类。本发明方法提供了一种更加精确、实用、可靠的方法来计算模型中各参数的重要程度，从而将那些不重要的参数进行剔除，最终获得一个满意的压缩比例，用于更高效地进行遥感图像分类识别。

技术领域

本发明涉及遥感图像处理与识别技术领域，尤其涉及一种基于剪枝压缩神经网络的遥感图像分类方法。

背景技术

近年来，深度神经网络在遥感目标识别、遥感图像分类等领域取得了重大突破，然而，尽管深度学习模型的性能十分强大，但现有的深度学习模型参数量巨大，网络结构十分复杂，因此，会带来计算和存储两方面的困难，难以部署到那些内存和计算资源有限的移动设备或者嵌入式设备上。研究表明深度学习模型存在严重的过参数化问题，并不是所有的参数都在模型中发挥作用，部分参数作用有限、表达冗余，甚至会降低模型的性能，而这些参数对于模型的推理只能起到很小的作用或者不起作用。因此，如何对深度学习模型的参数进行压缩，减小模型的参数量，加快模型的推理速度，在资源受限的条件下将深度学习模型部署到移动设备或者嵌入式设备上，增强深度学习模型的实用性成为一项重要的研究内容，具有深远的意义和价值。

为了解决深度学习模型中存在的模型参数量巨大、计算复杂度高的问题，过去的一些研究主要集中于寻找模型中重要的参数或者结构，通过将重要的参数或者结构保留下来，剔除那些不重要的参数或者结构来达到模型压缩的目的。当前主流的模型压缩方法包括：1）模型剪枝；2）权重量化；3）设计轻量化模型结构；4）知识蒸馏；5）低秩矩阵分解等，其中，寻找模型中的重要结构的方法本质上属于粗粒度的压缩方法，相比于寻找重要的参数的方法来说，在压缩倍数上往往较低，而当前基于重要参数对模型进行压缩的方法在计算参数重要性上准确性很低，从而影响了模型最终的压缩效果。因此，为了更大程度的对模型的参数量进行压缩，需要一种更加精确、实用、可靠、有效的方法来计算模型中各参数的重要程度，从而将那些不重要的参数进行剔除，最终获得一个满意的压缩比例，用于更高效地进行遥感图像分类识别。

发明内容

有鉴于此，本发明的目的在于提供一种基于剪枝压缩神经网络的遥感图像分类方法，所述方法能够有效解决深度神经网络模型在对遥感图像分类的过程中参数量巨大、计算复杂度高的问题，使得经过剪枝压缩的神经网络模型能够更高效地实现遥感图像的分类。

本发明的目的是这样实现的，一种基于剪枝压缩神经网络的遥感图像分类方法，包括以下步骤：

步骤1，对遥感图像分类问题训练一个初始的神经网络模型，训练完成后保存所述模型，将所述模型作为待剪枝的初始模型；

步骤2，利用初始模型学习到的输出函数对参数微小改变的敏感性来逐层计算模型中参数的敏感性矩阵，对模型输出的敏感性大的参数就是重要的参数，反之则为不重要的参数，其中表示模型的输入，表示模型的参数；

步骤3，对参数的敏感性矩阵的值进行排序，设置阈值，生成对应的掩膜矩阵，该掩膜矩阵是由0，1构成，参数的敏感性矩阵中小于该阈值的参数对应位置的掩膜矩阵的值设置为0，表示该参数不重要会被修剪，参数的敏感性矩阵中大于该阈值的参数对应位置的掩膜矩阵的值设置为1，表示会保留该参数，将掩膜矩阵与模型参数进行乘法运算，从而修剪掉不重要的参数；

步骤4，重新训练未被剪枝的剩余权重，以补偿剪枝带来的精度下降，已经修剪掉的权重对应的梯度在反向传播中也应置为0，即保证修剪掉的权重在重新训练的过程中不会再更新；

步骤5，当一层修剪完成之后，对下一层的修剪过程重复步骤2、步骤3和步骤4即可；