[发明专利]一种基于剪枝压缩神经网络的遥感图像分类方法

权利要求书

1.一种基于剪枝压缩神经网络的遥感图像分类方法，其特征在于，包括以下步骤：

步骤1，对遥感图像分类问题训练一个初始的神经网络模型，训练完成后保存所述模型，将所述模型作为待剪枝的初始模型；

步骤2，利用初始模型学习到的输出函数对参数微小改变的敏感性来逐层计算模型中参数的敏感性矩阵，对模型输出的敏感性大的参数就是重要的参数，反之则为不重要的参数，其中表示模型的输入，表示模型的参数；

步骤3，对参数的敏感性矩阵的值进行排序，设置阈值，生成对应的掩膜矩阵，该掩膜矩阵是由0，1构成，参数的敏感性矩阵中小于该阈值的参数对应位置的掩膜矩阵的值设置为0，表示该参数不重要会被修剪，参数的敏感性矩阵中大于该阈值的参数对应位置的掩膜矩阵的值设置为1，表示会保留该参数，将掩膜矩阵与模型参数进行乘法运算，从而修剪掉不重要的参数；

步骤4，重新训练未被剪枝的剩余权重，以补偿剪枝带来的精度下降，已经修剪掉的权重对应的梯度在反向传播中也应置为0，即保证修剪掉的权重在重新训练的过程中不会再更新；

步骤5，当一层修剪完成之后，对下一层的修剪过程重复步骤2、步骤3和步骤4即可；

步骤6，使用所有层修剪完成后的神经网络模型对遥感图像进行分类；

步骤2中所述的逐层计算模型中参数的敏感性矩阵，包括以下步骤：

对于给定的样本，模型的输出记为，将参数的微小改变量对模型最终的输出的改变进行二阶泰勒展开：

（1）

其中，为输出函数在样本上对参数的梯度，H为Hessian矩阵，代表输出函数在样本上参数的二阶偏导数；

利用对角Fisher信息矩阵来近似的逼近Hessian矩阵，对于多分类问题，使用输出函数的l2范数的平方对参数的梯度来代替计算参数敏感性，通过一次反向传播就可以计算出参数的敏感性矩阵；公式如下：

（2）

按照下列公式计算模型中该层中的每个参数的敏感性矩阵：

（3）

其中，代表网络模型中每个参数对于该任务的敏感性矩阵，表示第个样本点，表示样本总数。

2.根据权利要求1所述的遥感图像分类方法，其特征在于，步骤3中所述的对参数的敏感性矩阵的值进行排序，设置阈值，生成对应的掩膜矩阵，该掩膜矩阵是由0，1构成，参数的敏感性矩阵中小于该阈值的参数对应位置的掩膜矩阵的值设置为0，表示该参数不重要会被修剪，参数的敏感性矩阵中大于该阈值的参数对应位置的掩膜矩阵的值设置为1，表示会保留该参数，将掩膜矩阵与模型参数进行乘法运算，从而修剪掉不重要的参数，包括以下步骤：

将参数的敏感性矩阵的值按照由小到大的顺序进行排序，设置该层阈值大小；

按照下列公式计算得到掩膜矩阵：

（4）

其中，代表掩膜矩阵中的第i行第j列的元素；

得到掩膜矩阵后，按照下列公式修剪参数：

（5）

其中，为修剪后的参数，为修剪前的参数，为掩膜矩阵。

3.根据权利要求2所述的遥感图像分类方法，其特征在于，步骤4中所述的保证修剪掉的权重在重新训练的过程中不会再更新，在对剪枝后的网络进行重新训练时，按照下列公式来保证网络中已经修剪掉的参数不会再参与梯度的更新：

（6）

其中，为修剪后的参数的梯度，为修剪前的参数的梯度，为掩膜矩阵。