[发明专利]一种基于全局边缘注意力的全景分割方法

权利要求书

1.一种基于全局边缘注意力的全景分割方法，其特征是，包括步骤如下：

步骤1、在全景分割网络的基础上添加全局边缘注意力模块构造出基于全局边缘注意力的全景分割模型；

步骤2、将原始训练图像送入到步骤1所构建的基于全局边缘注意力的全景分割模型中对模型进行训练，得到训练好的最终基于全局边缘注意力的全景分割模型；其中基于全局边缘注意力的全景分割模型的每一次的迭代训练的过程如下：

步骤2.1、将上一次迭代训练所得到的基于全局边缘注意力的全景分割模型视为当前模型；

步骤2.2、利用当前模型的全景分割网络对原始训练图像进行全景分割得到当前模型的全景分割掩码；

步骤2.3、利用当前模型的全局边缘注意力模块对全景分割掩码进行全局边缘注意力检测，在进行全局边缘注意力检测的过程中，直接对全景分割掩码进行二值化，得到当前模型的全景分割掩码边缘矩阵；

步骤2.4、利用当前模型的全局边缘注意力模块对原始训练图像进行全局边缘注意力检测，在进行全局边缘注意力检测的过程中，先对原图像进行三通道分离，得到三个颜色通道矩阵；再使用当前边缘注意力权重矩阵群分别与三个颜色通道矩阵相乘，得到三个边缘矩阵；后将三个边缘矩阵相乘，得到当前模型的边缘矩阵因子；

步骤2.5、将基于步骤2.2所得的当前模型的全景分割掩码所计算的全景分割网络的损失函数L作为基础项，并将基于2.3所得的当前模型的全景分割掩码边缘矩阵和步骤2.4所得的当前模型的边缘矩阵因子所计算的全局边缘注意力模块的损失函数L_edge作为新增项，得到当前模型的损失函数L^*：

式中：L表示全景分割网络的损失函数，L_edge表示全局边缘注意力模块的损失函数，F_edge[i,j]表示全景分割掩码边缘矩阵的第i行、第j列的像素值，E[i,j]表示边缘矩阵因子的第i行、第j列的数值，i＝0,1,2,...,H-1，j＝0,1,2,...,W-1，H和W分别表示原始训练图像的高和宽向下取整的整数值；

步骤2.6、判断损失函数是否收敛或迭代训练次数是否达到迭代阈值：如果是，则当前模型即为最终基于全局边缘注意力的全景分割模型；否则，先通过极小化损失函数对当前模型的优化参数进行优化，再返回步骤2.1；

步骤3、将待分割的图像送入到步骤2所得的最终基于全局边缘注意力的全景分割模型中，完成待分割的图像基于全局边缘注意力的全景分割。

2.根据权利要求1所述的一种基于全局边缘注意力的全景分割方法，其特征是，步骤2.2的具体过程如下：

首先，将输入的原始训练图像送入ResNet-FPN特征提取网络得到图像的多维度共享特征融合图；

接着，将多维度共享特征融合图分别送入实例分割分支和语义分割分支中；在实例分割分支中，先找出多维度共享特征融合图的感兴趣区域，再对感兴趣区域进行像素校正，后对像素校正的感兴趣区域使用特征金字塔框架进行预测不同的实例所属分类，得到实例分割掩码；在语义分割分支中，通过对多维度共享特征融合图的每个像素进行细粒度的推理，得到语义掩码；

最后，将实例分割掩码和语义掩码进行融合后得到全景分割掩码。

3.根据权利要求1所述的一种基于全局边缘注意力的全景分割方法，其特征是，步骤2.5中，全景分割网络的损失函数L为：

L＝L_cls+L_box+L_mask

式中：L_cls表示预测框的分类损失项，L_box表示预测框的回归损失项，L_mask表示掩码部分的损失项。

4.根据权利要求1所述的一种基于全局边缘注意力的全景分割方法，其特征是，步骤2.6中，当前模型的优化参数包括全景分割网络的网络权重系数和全局边缘注意力模块的边缘注意力权重矩阵群。