[发明专利]一种单阶段实例图像分割方法、装置以及计算机设备

权利要求书

1.一种单阶段实例图像分割方法，其特征在于：包括以下步骤

S1、输入图像；

S2、采用骨干网络ResNet+FPN提取多层次的图像特征信息，使用ResNet上四层的特征图C2、C3、C4以及C5，每层特征图通过1×1卷积后与上一层特征上采样后的特征图进行元素相加，构建自上而下的特征金字塔结构，接着每层再通过3×3卷积得到特征图P2、P3、P4以及P5；

S3、利用自适应空间特征融合模块将特征金字塔结构中的P3、P4、P5特征图融合上下文细粒度特征；

S4、设置并行的三个分支，分别为实例核分支、掩码分支以及类别分支，实例核分支用于在划分成S×S个网格的增强特征图上预测出包含实例信息的特征核；掩码分支用于生成对应特征的掩码图；类别分支用于生成实例语义类别分数和预测语义类别概率；

S5、利用混合双注意力模块突出实例特征，增强实例核分支，混合双注意力模块包括通道注意力模块和位置注意力模块；对组卷积后的特征图进行通道混合操作，使其通道重新打乱排序；将子特征分别送入通道注意力模块以及位置注意力模块，突出实例特征信息；

S6、实例特征核与掩码图动态卷积生成掩码分割结果，通过与类别分支预测出的语义类别概率进行二部匹配得到最终的实例分割结果；

类别分支将不同层级特征进行双线性上采样或下采样统一特征尺寸，将输入特征图像划分成S×S个网格，通过四组3×3卷积+GN+ReLu的重复模块，生成S×S个C维输出，C表示总类别数，对每个网格进行语义类别概率的预测；

提出了一个基于DICE的配对分数 ，如式（7）所示，用于在训练阶段分配正负样本，以及为特征图的不同位置分配学习目标，其中i表示第i个预测对象，k表示k个ground-truth对象，由分类分数和掩码的DICE系数决定，

（7）

其中，是超参数，用于平衡分类和分割的影响，表示第k个ground-truth实例的类别标签，表示第i个预测的类别为的概率，分别表示第i个预测实例和第k个ground-truth实例的掩码，DICE系数计算如式（8）所示：

（8）

其中，分别表示预测掩码m和真值掩码t中(x,y)处的像素；

S7、得到最终掩码结果以及对象分类结果，并将其映射至原图像输出最终实例分割图像。

2.根据权利要求1所述的单阶段实例图像分割方法，其特征在于：所述步骤S3中，自适应空间特征融合模块的融合方法包括以下步骤

S3.1、分别对特征金字塔输出的P2、P3以及P4进行统一尺寸，对P2统一尺寸时，将P3上采样、P4上采样与P2统一尺寸；对P3统一尺寸时，将P2下采样、P4上采样与P3统一尺寸；对P4统一尺寸时，将P2下采样、P3下采样与P4统一尺寸；

S3.2、对调整后的三个特征图进行1×1的卷积运算；

S3.3、将这三个特征图拼接后再通过1×1的卷积和softmax归一化得到对应权值α、β和γ；

S3.4、当为P2时，将对应权重分别与P4_resized、P3_resized和P2相乘；当为P3时，将对应权重分别与P4_resized、P2_resized和P3相乘；当为P4时，将对应权重分别与P3_resized、P2_resized和P4相乘；

S3.5、将上一步骤中三个相乘的结果相加得到新的融合特征，获得对应的自适应空间特征融合模块，自适应空间特征融合的计算方式如式（1）所示

（1）

其中，表示特征图中位置(i,j)的特征向量，表示第n层级的特征图与调整至相同尺寸，表示三个不同层级中位于(i,j)的特征向量计算出的空间特征权重，取值范围是0到1；

的计算公式分别如式（2）、式（3）、式（4）所示

（2）

（3）

（4）

其中，分别表示三个权值的控制参数。