[发明专利]一种基于全局边缘注意力的全景分割方法

说明书

本发明公开一种基于全局边缘注意力的全景分割方法，在原全景分割网络结构的基础上添加了一个全局边缘注意力模块，利用当前模型的全景分割网络对原始训练图像进行全景分割得到当前模型的全景分割掩码；利用当前模型的全局边缘注意力模块对全景分割掩码进行全局边缘注意力检测，得到当前模型的全景分割掩码边缘矩阵；利用当前模型的全局边缘注意力模块对原始训练图像进行全局边缘注意力检测，得到当前模型的边缘矩阵因子；利用边缘矩阵因子去引导全景分割网络的实例和语义的全景分割，有利于区分细节和边缘，增强分割效果，提高分割效率。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于全局边缘注意力的全景分割方法。

背景技术

全景分割是2018年何恺明团队提出的概念，综合了语义分割和实例分割效果。在计算机视觉领域中，图像分割指的是是根据某些规则把图片中的像素分成不同的部分(加不同的标签)。其中语义分割旨在为图像中每个像素赋予一个类别标签，但是语义分割所做的仅仅是判断类别，无法实现区分个体的功能。而实例分割任务不需要对每个像素进行标记，它只需要找到感兴趣物体的边缘轮廓，可以在实现判断个体类别的基础上，同时实现个体的区分。全景分割是语义分割和实例分割的结合，每个像素都被分为一类，如果一种类别里有多个实例，会用不同的颜色进行区分，从而实现了对图像中的物体和背景的分割。

全景分割适用于目标识别与检测、物体跟踪、自动驾驶、医学影像处理等各领域。通过深度学习的方法对图像进行全景分割，分割结果的边缘的精确度是需要考虑的重要问题。何恺明研究团队提出过类似图形学渲染的方式，在边缘部分的不确定区域增加判定步骤，使得图像不会因为尺度缩小、图像模糊，导致边缘被平滑掉而影响图像的分割效果。但是该方法采用传统图形学算法，网络缺乏一定的学习能力。采用边缘检测结果去辅助超分辨率重建也有相关应用，比如拉普拉斯金字塔在超分辨率重建方面的应用，但是由于超分辨率重建注重重建的是细节，用于辅助的边缘没有语义信息，即无法确定是边缘还是细节，所以这些边缘是没有权重概念的，而这会导致图像局部的过度分割。

发明内容

本发明所要解决的是现有全景分割方法由于边缘限制所导致的局部过度分割问题，提供一种基于全局边缘注意力的全景分割方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于全局边缘注意力的全景分割方法，包括步骤如下：

步骤1、在全景分割网络的基础上添加全局边缘注意力模块构造出基于全局边缘注意力的全景分割模型；

步骤2、将原始训练图像送入到步骤1所构建的基于全局边缘注意力的全景分割模型中对模型进行训练，得到训练好的最终基于全局边缘注意力的全景分割模型；其中基于全局边缘注意力的全景分割模型的每一次的迭代训练的过程如下：

步骤2.1、将上一次迭代训练所得到的基于全局边缘注意力的全景分割模型视为当前模型；

步骤2.2、利用当前模型的全景分割网络对原始训练图像进行全景分割得到当前模型的全景分割掩码；

步骤2.3、利用当前模型的全局边缘注意力模块对全景分割掩码进行全局边缘注意力检测，在进行全局边缘注意力检测的过程中，直接对全景分割掩码进行二值化，得到当前模型的全景分割掩码边缘矩阵；

步骤2.4、利用当前模型的全局边缘注意力模块对原始训练图像进行全局边缘注意力检测，在进行全局边缘注意力检测的过程中，先对原图像进行三通道分离，得到三个颜色通道矩阵；再使用当前边缘注意力权重矩阵群分别与三个颜色通道矩阵相乘，得到三个边缘矩阵；后将三个边缘矩阵相乘，得到当前模型的边缘矩阵因子；