[发明专利]一种基于联合角点池化的复杂交通场景下车辆图像分割方法

权利要求书

1.一种基于联合角点池化的复杂交通场景下车辆图像分割方法，其特征在于，包括以下步骤：

步骤S1：获取CamVid目标检测数据集，制作CamVid车辆图像数据集；

步骤S2：选取沙漏网络为基石网络，并搭建神经网络框架；

步骤S3：设计前景分割神经网络，利用多目标角点池化模块对基石网络产生的特征进行处理，生成图片内目标的类别和目标候选框，并利用目标候选框生成感兴趣区域，利用掩膜扫描模块处理基石网络生成的特征，输出前景目标掩膜；

步骤S4：设计背景分割神经网络，将步骤S3生成的感兴趣区域和基石网络生成的特征在区域引导模块中进行融合，融合后的特征由语义分割模块处理，生成背景分割图；

步骤S5：设计损失函数；

步骤S6：利用前背景排序模块对步骤S3得到的前景目标掩膜和步骤S4得到的背景分割图进行融合，得到图像的全景分割结果。

2.根据权利要求1所述的基于联合角点池化的复杂交通场景下车辆图像分割方法，其特征在于，所述步骤S1的具体步骤如下：

步骤S11：下载CamVid数据集，分别提取验证数据集、训练数据集和测试数据集中的全部车辆类别图片；

步骤S12：将验证数据集和训练数据集中全部车辆类别图片用于模型训练，测试数据集用来做消融实验。

3.根据权利要求1所述的基于联合角点池化的复杂交通场景下车辆图像分割方法，其特征在于，所述步骤S2的具体步骤如下：

步骤S21：选取由两个沙漏模块组成的沙漏网络作为基石网络，且基石网络的输入和输出尺寸均为256*256；

步骤S22：将沙漏网络内的最大池化层替换为3*3的卷积核，降低特征分辨率；

步骤S23：将沙漏网络深度设置为104，采集整个网络最后一层的特征并将其传输到预测模块。

4.根据权利要求1所述的基于联合角点池化的复杂交通场景下车辆图像分割方法，其特征在于，所述步骤S5中设计损失函数，所述损失函数的定义如下：

L＝L_cls+L_box+L_mask+λL_sem+L_str

其中，λ为损失函数的超参数，λ＝1；

L_cls为分类损失函数：

上式中，H和W分别是图片的长和宽；(i,j)表示图片内位于第i行，第j列的像素；p_ij为该像素类别的预测值；y_ij为该像素类别的真实值；N为图片内目标总数；α＝2，β＝4，分别为损失函数的超参数；

L_box为目标候选框损失函数：

上式中，k和j表示图片内的第k和j个目标，b_uk为第k个目标的左上角点嵌入矢量，b_dk为第k个目标的右下角点嵌入矢量，b_k和b_j是第k和j个目标中心点的嵌入矢量，为嵌入向量维度，

L_mask为目标掩膜损失函数：

上式中，P_pk为前景掩膜的预测值，P_gk为前景掩膜的真实值；

L_sem为语义分割损失函数：

上式中，p_stuff(l)为语义分割模块得到的第l张图的背景预测值，p_truth(l)为第l张图的背景真实值；

L_str为前背景排序损失函数：

上式中，为第k个目标掩膜的预测得分，S_p(i,j)为掩膜在像素(i,j)处的预测得分，m(i,j)为掩膜在像素(i,j)处的影响系数，S_k(i,j)为掩膜在像素(i,j)处的真实得分，S_gk为第k个目标掩膜的真实得分。

5.根据权利要求1所述的基于联合角点池化的复杂交通场景下车辆图像分割方法，其特征在于，所述步骤S6的具体步骤如下：

步骤S61：利用前背景排序模块对步骤S3得到的前景目标掩膜进行排序；

步骤S62：所述前背景排序模块将步骤S4生成的背景分割图放置在最底层；

步骤S63：各前景目标掩膜与背景分割图进行融合，每个前景目标掩膜需要由前背景排序模块在背景分割图中寻找与之对应的位置。