[发明专利]一种面向遥感图像的卷积神经网络压缩方法

说明书

本发明提供一种面向遥感图像的卷积神经网络压缩方法，与传统的卷积神经网络压缩方法对网络参数进行裁剪压缩后会导致网络结构的不规则化等问题相比，本方法利用多层次参数裁剪和参数位置约束，在提高参数压缩比例的同时，提高了网络结构的规则性，有利于实际应用时的计算加速；同时利用多数据源的信息融合，提高了压缩后模型的精度。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种面向遥感图像的卷积神经网络压缩方法。

背景技术

随着以深度卷积神经网络为代表的机器学习技术在自然图像、语音识别等领域处理能力的不断发展进步，越来越多的卷积神经网络模型被应用到遥感图像的处理中。高性能的卷积神经网络往往具有大量的参数和复杂的结构，需要较多的计算资源。对遥感图像数据进行处理的各种场景中，机载、星载、车载等移动平台的资源有限，难以提供大量的计算和存储资源。因此，在遥感图像处理领域，通常需要对现有的高性能卷积神经网络进行结构参数压缩等处理之后进行应用。而目前的神经网络压缩方法还存在如下问题：

第一、以网络剪枝为代表的卷积神经网络压缩算法往往需要通过一定的规则，对卷积神经网络中的参数重要度进行排序，从而删减重要度较低的参数，而不同的评价方法对网络中参数的重要程度往往具有不同的评价，因此在进行网络压缩时，难以确定参数是否是冗余的。

第二、很多压缩算法对卷积神经网络模型压缩的处理是将冗余参数置零，或者任意删减掉一些连接，因此压缩后的模型结构未变化或是不规则的，在应用时并不会显著降低所需计算量。

第三、卷积神经网络在删减大量冗余参数后，其模型的精度会下降，因此需要在提高卷积神经网络模型参数压缩比例的同时减少模型的精度损失。

发明内容

为解决上述技术问题，本发明提供一种面向遥感图像的卷积神经网络压缩方法，包括：

S1、搭建深度神经网络模型，使用自然场景图像数据对网络进行参数训练，得到预训练模型M1；

S2、使用遥感图像数据对所述预训练模型M1进行参数训练，得到模型M2；

S3、对所述模型M2进行通道级重要度计算，按照剪枝比例X和重要度计算结果，对重要度较低的通道进行裁剪得到通道剪枝模型，对所述通道剪枝模型使用所述遥感图像数据进行参数训练，得到通道剪枝后模型M3；

S4、提高剪枝比例X，重复所述步骤S3，直至完成所有设定的剪枝比例和次数n，得到M3-1、M3-2、…M3-n共n个通道剪枝后模型；

S5、针对通道剪枝后模型M3-i，进行卷积核级重要度计算，按照剪枝比例Y和重要度计算结果，对重要度较低的卷积核进行裁剪得到卷积核剪枝模型，对所述卷积核剪枝模型使用所述遥感图像数据进行参数训练，得到卷积核剪枝后模型M4-i；所述i∈[1,n]；

S6、提高剪枝比例Y，重复所述步骤S5，直至完成所有设定的剪枝比例和次数m，对于每个通道剪枝后模型M3-i均得到M4-i-1、M4-i-2、…M4-i-m共m个卷积核剪枝后模型；

S7、将所述自然场景图像数据输入到所述预训练模型M1和所述经过通道剪枝和卷积核剪枝后的模型M4-i-j，分别得到模型输出结果Z₁和Z₄，基于模型输出结果计算模型损失L1，并基于模型损失L1更新模型M4-i-j的参数，训练完成得到模型M5-i-j；所述j∈[1,m]；

S8、将所述遥感图像数据输入到模型M2和模型M5-i-j，分别得到模型输出结果Z₂和Z₅，基于模型输出结果计算模型损失L2，并基于模型损失L2更新模型M5-i-j的参数，训练完成得到模型M6-i-j；

S9、对上述M6-i-j共n×m个模型分别进行模型精度测试、参数量统计、计算量统计，根据待应用的平台资源和/或性能需求选择满足要求的剪枝模型。