[发明专利]一种基于增强语义分割头的级联实例分割方法

说明书

本发明公开了一种基于增强语义分割头的级联实例分割方法，包括以下步骤：提取图像的多尺度特征，融合多尺度特征获得单一尺度特征；根据单一尺度特征获得语义分割特征；根据语义分割特征和多尺度特征进行实例分割，获得图像中的单个实例，其中，语义分割特征由transformer模型、卷积网络模型融合获得。本发明提供的基于增强语义分割头的级联实例分割方法，提升了语义分割特征的可分辨性，提高了实例的准确性。

技术领域

本发明涉及一种基于增强语义分割头的级联实例分割方法，属于计算机视觉技术领域。

背景技术

实例分割是指逐像素地分割出图像中的单个实例并进行分类，其广泛地应用于自动驾驶、医学图像分割、遥感图像分析等领域。

现有的实例分割方法有很多，例如HTC、DSC级联实例分割方法，这些方法通常仅依靠一个全卷积网络，例如FCN网络，来提取语义分割特征，然而，此种方式缺乏全局信息，导致现有的方法面临着实例分割不完整的问题，例如实例内部分割不连、实例边缘分割缺失等。

因此，有必要对实例分割方法进行研究，以解决上述问题。

发明内容

为了克服上述问题，本发明人进行了深入研究，设计出一种基于增强语义分割头的级联实例分割方法，其特征在于，包括以下步骤：

S1、提取图像的多尺度特征，融合多尺度特征获得单一尺度特征；

S2、根据单一尺度特征获得语义分割特征；

S3、根据语义分割特征和多尺度特征进行实例分割，获得图像中的单个实例。

在一个优选的实施方式中，在S1中，通过特征提取器叠加特征金字塔提取图像中的多尺度特征。

在一个优选的实施方式中，在S1中，所述融合多尺度特征通过以下方式实现：

将特征提取器提取的多尺度特征输入特征金字塔，在特征金字塔的每个尺度特征后设置1x1卷积，对高层特征进行上采样操作，对低层特征进行下采样操作，使得特征金字塔输出的所有特征被固定为一个统一的尺度，然后将统一尺度的特征融合获得单一尺度特征。

在一个优选的实施方式中，在S2中，将单一尺度特征输入增强语义分割头，由增强语义分割头输出语义分割特征，

所述增强语义分割头包括分割模型、transformer模型、卷积网络模型和卷积层，

其中，所述分割模型用于将输入的单一尺度特征分割为多个块，将每个分割块输入transformer模型，

transformer模型根据输入的单一尺度特征分割块生成全局上下文特征x_g；

卷积网络模型根据输入的单一尺度特征生成空间上下文特征x_s；

将全局上下文特征x_g与空间上下文特征x_s融合后，通过卷积层生成语义分割特征。

在一个优选的实施方式中，在S2中，所述卷积网络模型为FCN。

在一个优选的实施方式中，S3中，图像中的单个实例通过边界框和实例掩码表示，所述实例分割通过级联预测器实现，所述级联预测器为多阶段范式结构，采用前一阶段的输出来训练现阶段的边界框b^t和实例掩码m^t，可以表示为：