[发明专利]一种基于峰值挖掘和过滤的弱监督实例分割方法

说明书

一种基于峰值挖掘和过滤的弱监督实例分割方法，包括以下步骤：1)处理样本阶段；2)网络配置阶段；3)训练阶段；4)测试阶段。本发明设计的基于峰值挖掘和过滤策略引入特征融合、对抗擦除、聚类分析以增强峰值响应图的多样性和完整性，并通过迭代检索和置信度更新以检索更精确的分割掩膜。相比现有的弱监督实例分割方法，本发明的分割算法能够对图像中不同尺寸的物体实现更完整、准确的分割，从而有效地提升实例分割的精度。

技术领域

本发明属于计算机软件技术领域，涉及弱监督实例分割技术，具体为一种基于峰值挖掘和过滤的弱监督实例分割方法。

背景技术

在计算机视觉领域，常规的监督学习都需要对数据集进行长时间的标注，非常消耗资源和时间，而弱监督学习就是通过弱化标注信息的监督强度从而降低数据集标注造成的大量资源消耗。实例分割任务旨在精准分割图像中所有前景物体，对于每个像素不仅预测其语义类别同时判定其个体归属。因而弱监督实例分割的目标是通过弱化标注信息实现需要像素级标注的实例分割任务。

对于实例分割任务，图像级类别标注相较于像素级类别标注仅提供图像中存在的物体语义类别但不直接提供物体的位置、形状、数量等信息，有益于构建大规模数据集。当前基于图像级类别标注的弱监督实例分割算法主要分为两类：基于检测和基于分割。对于前一类，PRM(Peak Response Map,峰值响应图)算法提出峰值激活的概念用于物体的定位和分类，并利用网络梯度计算概率依赖得到峰值在原图上的响应，接着利用峰值响应图检索候选掩膜作为分割掩膜。IAM算法利用编码、解码的网络学习峰值响应图和分割掩膜之间的填充关系以增强分割的质量并提高模型测试速度。而CountSeg算法结合图像中物体个数的监督信息利用峰值作为监督得到每个物体的密度图，有益于检索候选掩膜。Label-PEnet算法利用课程训练的策略让模型从分类、检测、分割逐步学习，并利用后面的模型为前面的模型提供监督。对于后一类，IRN(Inter-pixel Relation Network,像素关系网络)算法首先学习像素点之间关联性实现语义分割，并利用物体上各点到中心点距离之和为零以及具有不同语义类别的点之间存在边界的先验知识区分实例。

目前基于峰值作为物体检测的代理的方法在精度上更具优势，但是与完全监督算法相差甚远，仍然存在定位丢失、分类错误、局部分割等问题，限制着最终分割精度的提升。

发明内容

本发明要解决的问题是：如何仅通过图像级类别标签监督训练分类网络，使得模型能够更全面地检测到图像所有物体并对其进行更准确的分类以及更完整的分割；同时对于那些冗余且低质量的分割结果如何实现更准确地过滤。通常分类模型对于物体的响应局限于局部显著区域而不能全面、完整地响应所有物体即欠激活，且存在分割边界模糊、背景共现即过激活，严重影响分割精度。因此，本发明设计目标就是引入挖掘和过滤的策略分别解决上述过激活与欠激活问题，最终实现更精确的弱监督实例分割。

本发明的技术方案为：一种基于峰值挖掘和过滤的弱监督实例分割方法，构建图像分类网络和实例分割网络，以图像级类别标签作为监督进行训练，先训练图像分类网络，再由图像分类网络得到实例分割网络的训练数据进行监督训练，进而完成实例分割，

图像分类网络包括以下配置：

1)特征融合，使用ResNet50作为主干网络提取图像特征，将来自网络中不同层、不同尺寸的特征图进行融合，生成表征和语义信息更丰富的特征图；

2)对抗擦除，对特征图进行降维并转化成类别激活图，针对真值类别对应的类别激活图中显著区域，在特征图上进行擦除并采用特征均值进行填充，再利用卷积层对填充后的特征图重新进行类别激活以拓展语义响应区域；其中擦除前和擦除后两个分支采用两个不同参数的分类器用于图像识别，进而激活输出擦除前后两个类别激活图；