[发明专利]一种基于双分支结构的实时遥感图像云检测方法

说明书

本发明提供了一种基于双分支结构的实时遥感图像云检测方法，提出了以PyTorch组件基于编码器‑解码器的遥感图像云检测网络，在编码器中采用细节分支以及语义分支的双分支网络结构，同时提取细节和语义信息。在细节分支中使用了卷积因子分解和边缘损失，设计出了轻量化的云检测网络。之后对构建好的遥感图像云检测网络按照边缘损失和主要损失组成的总损失下降的方向进行训练，将训练好的遥感图像云检测网络从PyTorch组件格式转化为通用模型交换格式再转化为TensorRT引擎格式；将最优的遥感图像云检测网络进行加速部署，可以保证在部署环境中有足够的速度处理数据，达到任务的轻量化要求。

技术领域

本发明属于图像处理和深度学习技术，具体涉及一种基于双分支结构的实时遥感图像云检测方法。

背景技术

随着遥感技术的飞速发展，遥感图像被广泛应用于各种领域。越来越多的遥感数据被用于农业、环境保护、城市发展、军事、土地变化监测、水文等。由于大气密度和云层变化对遥感过程的重要影响，大多数遥感图像遭遇不同程度的云污染。来自国际卫星云气候学项目的全球云数据显示，超过66％的地球表面区域经常被云覆盖，包括厚云和薄云。云造成的一些图像信息的衰减甚至丢失，不仅大大降低了遥感数据的质量和利用率，也给遥感图像的分析和应用带来了困难。厚云的下垫面无法从影像中得知，毫无疑问，遥感影像中云层覆盖的区域是无效信息。薄云虽然不能完全覆盖地面特征，但与下垫面混合时，仍然不能完全知道薄云下的地面特征，因此，薄云和厚云是同样的无效信息。为了提高遥感图像的可用性，在卫星图像可用于进一步分析之前，正确和有效地对云进行分类是至关重要的预处理步骤，在任何特定任务的遥感分析之前进行云检测是必不可少的。

目前遥感图像云检测较为常用方案是在深度学习基础上建立语义分割方法，从而根据语义分割方法对遥感图像云进行检测。在这些语义分割方法中较多常用方法如下：

FCN算法，FCN算法是图像语义分割算法开山之作，通过对全卷积神经网络进行端对端训练，将图像级的分类拓展到像素级分类，实现语义分割，之后再使用该算法进行遥感图像云检测；Deeplab算法，Deeplab算法通过在FCN网络中引入空洞卷积，扩大感受野，提取更多空间特征，丰富网络特征表达，但空洞卷积会导致云层部分细节信息丢失，影响局部一致性，使得遥感图像云检测的准确性下降；Unet算法，Unet算法使用跳跃连接将编码解码网络相连接，解决FCN算法生成掩膜粗糙的问题，使用基于主干网络预训练的Unet算法进行遥感云检测，利用迁移学习将不同类型图像共有特征属性迁移至遥感云检测的特征提取步骤，加强网络特征提取能力；Cloud-AttU算法，Cloud-AttU算法在Unet网络中添加空间注意力机制，通过跳跃层连接学习更有效的特征信息表达。

上述方案虽然都对语义分割准确性有所提升，但是在实时性上有所欠缺。而对于实时语义分割网络，许多研究人员设计出具有令人满意的分割精度的低延迟、高效率的CNN模型。例如，ENet使用ResNet作为主干来执行有效的推理。然而，在U形结构中，对高分辨率特征图的操作消耗大量时间。DFANet采用了轻量级主干来降低计算成本，并设计了跨层特征聚合模块来提高性能。DFNet利用“偏序剪枝”算法来获得轻量级主干和高效解码器。ICNet设计了多尺度图像级联，以实现良好的速度和精度的平衡。BiSeNet提出了一种附加的下采样路径，该路径在上采样之前与更精细分辨率的主网络融合。BiSeNetV2通过提供两个分支的更精细融合和来自中间层的额外预测头来扩展BiSeNet，以促进训练。但是这些方案聚焦在如何提升语义分割网络性能上，然而在实际应用中对实时遥感检测的实时性较差，实时检测的基本需求需要达到30FPS，因此如何对实时遥感图像进行快速检测，以达到实时性要求是亟待解决的技术问题。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于双分支结构的实时遥感图像云检测方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供的一种基于双分支结构的实时遥感图像云检测方法包括：