[发明专利]一种基于增强语义分割头的级联实例分割方法

权利要求书

1.一种基于增强语义分割头的级联实例分割方法，其特征在于，包括以下步骤：

S1、提取图像的多尺度特征，融合多尺度特征获得单一尺度特征；

S2、根据单一尺度特征获得语义分割特征；

S3、根据语义分割特征和多尺度特征进行实例分割，获得图像中的单个实例。

2.根据权利要求1所述的基于增强语义分割头的级联实例分割方法，其特征在于，

在S1中，通过特征提取器叠加特征金字塔提取图像中的多尺度特征。

3.根据权利要求1所述的基于增强语义分割头的级联实例分割方法，其特征在于，

在S1中，所述融合多尺度特征通过以下方式实现：

将特征提取器提取的多尺度特征输入特征金字塔，在特征金字塔的每个尺度特征后设置1x1卷积，对高层特征进行上采样操作，对低层特征进行下采样操作，使得特征金字塔输出的所有特征被固定为一个统一的尺度，然后将统一尺度的特征融合获得单一尺度特征。

4.根据权利要求1所述的基于增强语义分割头的级联实例分割方法，其特征在于，

在S2中，将单一尺度特征输入增强语义分割头，由增强语义分割头输出语义分割特征，

所述增强语义分割头包括分割模型、transformer模型、卷积网络模型和卷积层，

其中，所述分割模型用于将输入的单一尺度特征分割为多个块，将每个分割块输入transformer模型，

transformer模型根据输入的单一尺度特征分割块生成全局上下文特征x_g；

卷积网络模型根据输入的单一尺度特征生成空间上下文特征x_s；

将全局上下文特征x_g与空间上下文特征x_s融合后，通过卷积层生成语义分割特征。

5.根据权利要求4所述的基于增强语义分割头的级联实例分割方法，其特征在于，

在S2中，所述卷积网络模型为FCN。

6.根据权利要求1所述的基于增强语义分割头的级联实例分割方法，其特征在于，

S3中，图像中的单个实例通过边界框和实例掩码表示，所述实例分割通过级联预测器实现，所述级联预测器为多阶段范式结构，采用前一阶段的输出来训练现阶段的边界框b^t和实例掩码m^t，可以表示为：

其中，F表示多尺度特征，x_en表示语义分割特征，t表示不同的阶段，表示t阶段的边界框特征，表示t阶段的实例掩码特征，P(·)表示池化函数，B^t表示t阶段的边界框预测器，M^t表示t阶段的实例掩码预测器，b^t表示t阶段的边界框，m^t表示t阶段的实例掩码。

7.根据权利要求6所述的基于增强语义分割头的级联实例分割方法，其特征在于，

在训练增强语义分割头和级联预测器时，增加分类监督训练过程，所述分类监督训练是指以图像中所有实例的类别为监督对象的多标签训练。

8.根据权利要求7所述的基于增强语义分割头的级联实例分割方法，其特征在于，

在所述分类监督训练中，损失函数设置为：

其中，为语义分割损失，为多标签分类损失；t表示级联预测器的不同阶段，T为总的阶段数，为级联预测器t阶段的边界框的交叉熵损失；为级联预测器t阶段的实例掩码的交叉熵损失，α和β为权重系数，λ_t为不同阶段的训练权重。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。

10.一种存储有计算机指令的计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。