[发明专利]一种基于联合角点池化的复杂交通场景下车辆图像分割方法

说明书

本发明提供一种基于联合角点池化的复杂交通场景下车辆图像分割方法，重新整合CamVid数据集，沙漏网络提取数据集特征，前景分割分支、背景分割分支分别对特征进行处理。在前景分割分支中，特征首先进入多目标角点池化模块处理，得到目标候选框、目标类别标签和感兴趣区域，利用掩膜扫描模块扫描出目标的精确掩膜；在背景分割分支中，特征图与多目标角点池化模块生成的感兴趣区域进行融合，利用语义分割模块生成背景图。前景分割分支生成的掩膜、目标类别和候选框与背景分割分支生成的背景图在前背景排序模块中进行排序和定位，生成全景分割结果。解决了现有技术在检测复杂交通场景下车辆时往往表现不佳，不能准确地将这些车辆逐一检测、框选的问题。

技术领域

本发明涉及图像分割技术领域，具体而言，尤其涉及一种基于联合角点池化的复杂交通场景下车辆图像分割方法。

背景技术

复杂交通场景下的车辆分割就是要从实际的交通场景下，对图像内的前景(车辆)和背景(建筑物等)进行识别、框选和准确的分割。通过建立深度神经网络模型并利用完整的数据集进行训练，使其能够适应各种复杂的实际环境如恶劣天气下图片内车辆较为模糊、弱光照条件下车辆不够清晰、拥堵环境下车辆展示不完整等。国内外学者在这一领域已经取得了不错的进展，其中FAIR研究团队将语义分割和实例分割统一起来，利用单一网络同时预测两个子任务，并对特征图进行合并得到全景分割结果。MIT与谷歌合作，使用由下而上的方法，同时实现了实例分割和语义分割的预测，融合两个预测结果得到全景分割。国内的中科院自动化研究所则分别从两个子网络提取关键信息，融合为全景分割。

恶劣天气下图片内车辆较为模糊、弱光照条件下车辆不够清晰、拥堵环境下车辆展示不完整等问题都可以利用全景分割来得到很好的结果。随着城市交通负担的日益加剧，建立高效准确的车辆检测识别系统势在必行，尤其是复杂交通场景下车辆的检测与分割更是有着广阔的应用前景，而且全景分割在自动驾驶辅助领域也有广阔的应用。在实际的交通场景中，摄像头采集到的图像会因各种情况而不是很令人满意，如光照较弱、天气恶劣使得成像模糊等，现有技术在检测这些成像质量较低的图像中车辆时往往表现不佳，不能准确地将这些车辆逐一检测、框选。

发明内容

根据上述提出的在实际的交通场景中，摄像头采集到的图像会因各种情况而不是很令人满意，如光照较弱、天气恶劣使得成像模糊等，现有技术在检测这些成像质量较低的图像中车辆时往往表现不佳，不能准确地将这些车辆逐一检测、框选的技术问题，而提供一种联合角点池化的全景分割实现复杂交通场景下车辆的检测方法。

本发明采用的技术手段如下：

一种基于联合角点池化的复杂交通场景下车辆图像分割方法，包括以下步骤：

步骤S1：获取CamVid目标检测数据集，制作CamVid车辆图像数据集；

步骤S2：选取沙漏网络为基石网络，并搭建神经网络框架；

步骤S3：设计前景分割神经网络，利用多目标角点池化模块对基石网络产生的特征进行处理，生成图片内目标的类别和目标候选框，并利用目标候选框生成感兴趣区域，利用掩膜扫描模块处理基石网络生成的特征，输出前景目标掩膜；

步骤S4：设计背景分割神经网络，将步骤S3生成的感兴趣区域和基石网络生成的特征在区域引导模块中进行融合，融合后的特征由语义分割模块处理，生成背景分割图；

步骤S5：设计损失函数；

步骤S6：利用前背景排序模块对步骤S3得到的前景目标掩膜和步骤S4得到的背景分割图进行融合，得到图像的全景分割结果。

进一步地，所述步骤S1的具体步骤如下：

步骤S11：下载CamVid数据集，分别提取验证数据集、训练数据集和测试数据集中的全部车辆类别图片；

步骤S12：将验证数据集和训练数据集中全部车辆类别图片用于模型训练，测试数据集用来做消融实验。