[发明专利]一种单阶段实例图像分割方法、装置以及计算机设备

说明书

本发明公开了一种单阶段实例图像分割方法、装置以及计算机设备，涉及图像实例分割技术领域，首先提取多层次的图像特征信息，为了更充分地利用高层特征的语义信息和底层特征的细粒度特征，引入自适应特征融合模块计算不同尺度特征权重并融合，将融合后的特征送入三个分支进行实例核预测和掩码分割以及语义类别预测，为了突出特征核的位置信息，引入混合双注意力机制筛选有效特征核，然后将生成掩码与特征核进行映射，根据实例的分类分数和相应的掩码，确定每个实例的类别与置信度，阈值筛选得到最终的分割结果，为了权衡模型分割的速度与精度，采用二部匹配的策略，避免矩阵非极大值抑制操作，大大提升了分割速度。

技术领域

本发明涉及图像实例分割技术领域，特别是涉及一种单阶段实例图像分割方法、装置以及计算机设备。

背景技术

实例分割是经典的计算机视觉任务之一，旨在对图像前景目标中不同属类别的个体以及同属类别的不同个体进行像素级区分，从而保留不同实例之间的像素差异性；实例分割由于其分割结果与人眼观察的结果具有高相似度，已被广泛应用于多个领域，比如自动驾驶、虚拟现实场景建模、安防监控以及智慧医疗等等。

目前主流的实例分割方法遵循着两阶段的思路，即先建立实例的候选框，然后再根据候选框对像素进行标记，进行前景与背景的区分，这些方法在精度上取得了较大的提升，但由于其依赖多个分支计算，存在庞大的参数，会导致其难以应用在需要实时性分割的领域，例如自动驾驶以及边缘设备。

单阶段实例分割受单阶段目标检测的影响，通过直接预测每个对象实例的类别与分割掩码来简化检测与分割分支，然而单阶段实例分割提升分割速度的同时仍存在如下问题：1、实例分割依赖主干网络加特征金字塔的结构来学习多尺度特征，这种结构对大尺度目标敏感，上采样与下采样过程中容易造成大目标特征覆盖小目标特征；2、通过目标中心定位实例时，每个像素的感受域有限，从而导致上下文信息不足；3、处理大量生成掩码并进行矩阵非极大值抑制需要耗费大量的时间以及计算资源。

发明内容

为了解决以上技术问题，本发明提供一种单阶段实例图像分割方法，其特征在于：包括以下步骤

S1、输入图像；

S2、采用骨干网络ResNet+FPN提取多层次的图像特征信息，使用ResNet上四层的特征图C2、C3、C4以及C5，每层特征图通过1×1卷积后与上一层特征上采样后的特征图进行元素相加，构建自上而下的特征金字塔结构，接着每层再通过3×3卷积得到特征图P2、P3、P4以及P5；

S3、利用自适应空间特征融合模块将特征金字塔结构中的P3、P4、P5特征图融合上下文细粒度特征；

S4、设置并行的三个分支，分别为实例核分支、掩码分支以及类别分支，实例核分支用于在划分成S×S个网格的增强特征图上预测出包含实例信息的特征核；掩码分支用于生成对应特征的掩码图；类别分支用于生成实例语义类别分数和预测语义类别概率；

S5、利用混合双注意力模块突出实例特征，增强实例核分支，混合双注意力模块包括通道注意力模块和位置注意力模块；对组卷积后的特征图进行通道混合操作，使其通道重新打乱排序；将子特征分别送入通道注意力模块以及位置注意力模块，突出实例特征信息；

S6、实例特征核与掩码图动态卷积生成掩码分割结果，通过与类别分支预测出的语义类别概率进行二部匹配得到最终的实例分割结果；

类别分支将不同层级特征进行双线性上采样或下采样统一特征尺寸，将输入特征图像划分成S×S个网格，通过四组3×3卷积+GN+ReLu的重复模块，生成S×S个C维输出，C表示总类别数，对每个网格进行语义类别概率的预测；

提出了一个基于DICE的配对分数 ，如式（7）所示，用于在训练阶段分配正负样本，以及为特征图的不同位置分配学习目标，其中i表示第i个预测对象，k表示k个ground-truth对象，由分类分数和掩码的DICE系数决定，