[发明专利]一种用于空间目标同步检测与分割的方法

说明书

本发明提出了一种用于空间目标同步检测与分割的方法，采用ResNet‑FPN提取出多层不同尺度的特征图，并对多层不同尺度的特征图进一步做融合，在不同尺度特征图上融合所有层的特征，尽可能保留浅层网络的边缘形状等信息和深层网络的语义信息，最后获得的特征表达能力更强，应对小物体遗漏、几何变换、图像退化等问题效果更鲁棒；设计多分类损失FocalLoss作为组件分类检测时的损失函数，以避免挖掘困难样本时，类别样本不均的问题，在不损失推理速率的前提下，对空间目标的检测和分割效果皆能保持稳定。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种用于空间目标同步检测与分割的方法。

背景技术

在计算机视觉领域，目标检测和语义分割都属于基本任务，目标检测旨在识别图像中存在的物体实例并检测出其位置，语义分割旨在对图像中的每个像素进行分类。而实例分割任务是目标检测和语义分割的结合，其目的是先将图像中的目标检测出来，再对目标的每个像素分配类别标签。实例分割能够对前景语义类别相同的不同实例进行区分，这是其与语义分割最大的区别。因其在地理信息系统、医学影像、自动驾驶、机器人等领域有着很重要的应用技术支持作用，实例分割已成为图像分割的一个重要组成部分，具有十分重要的研究意义。

实例分割能够汲取目标检测和语义分割两者的优点，同步完成检测和分割任务，同时该任务也极具挑战性，因此引起了国内外学者的广泛关注，近年来具有代表性的有：EXie等人于2019年提出PolarMask方法，不需要生成检测框，且相比FCOS把4根射线散发到36根，将实例分割和目标检测用同一种建模方式来表达；H Chen等人于2020年提出BlendMask方法，结合了自顶向下和自底向上的思路，在FCOS的基础上增加了底层模块用于提取低层级的细节特征，并在顶层生成对应的attention，最后提出blender模块来更好的融合两种特征；尽管上述的方法都可以得到检测和分割结果，但是针对包含复杂场景的真实数据集，例如本发明中的空间目标，均存在小物体易遗漏、图像退化以及类别样本不均的问题。针对以上问题，本发明对特征金字塔网络输出的多尺度特征图进一步做融合以及采用多分类Focal Loss损失函数，提供了一种用于空间目标同步检测与分割的方法。

发明内容

本发明的目的是提供一种用于空间目标同步检测与分割的方法，解决现有实例分割技术中存在的小物体易遗漏、图像退化以及类别样本不均问题。

为实现上述目的，本发明提供了一种用于空间目标同步检测与分割的方法，包括以下步骤：

构建包括若干训练样本的训练样本集；所述训练样本中包括空间图像以及与空间图像对应的图像标记；所述图像标记包括空间图像中的检测标记、分割标记和类别标记，所述类别标记包括多种目标组件的类别标记；

生成各训练样本的初始感兴趣区域集合；

利用ResNet-FPN网络提取出各训练样本的多层特征图，并在每层特征图上融合其他所有特征图的特征，得到各训练样本的多层融合特征图；

从训练样本的多层融合特征图中提取出所述训练样本各初始感兴趣区域的特征矩阵；

构建目标检测与分割网络；所述目标检测与分割网络包括区域建议模型和检测分割模型；所述区域建议模型用于根据各初始感兴趣区域的特征矩阵判别对应的初始感兴趣区域是否属于背景，对所述初始感兴趣区域集合中的初始感兴趣区域进行筛选及优化；所述检测分割模型用于对空间图像中的多种目标组件进行类别标记预测、检测标记预测以及分割标记预测；在所述区域建议模型中对感兴趣区域的类别标记预测时，采用二分类损失作为其损失函数，而在所述检测分割模型中类别标记预测时，采用多分类损失Focal Loss作为其损失函数；

利用各训练样本的多层融合特征图、所述初始感兴趣区域集合、各初始感兴趣区域的特征矩阵和所述训练样本集，分别对所述区域建议模型和所述检测分割模型进行训练，得到训练好的目标检测与分割网络；