[发明专利]一种面向复杂场景的域适应交通目标检测与识别方法

说明书

本发明提供一种面向复杂场景的域适应交通目标检测与识别方法，首先，提出双向注意力特征提取模块，同时从两个方向对输入图像进行特征提取，这种结构可规避前馈过程中的特征损失，然后，提出域适应学习部分，包括两级域匹配模块和图原型匹配模块。在特征提取网络的中间层和最后层，分别连接两级域匹配模块。其中，像素级别域匹配模块包括梯度反转块GRB和像素级域分类器D1，全局级别域匹配模块包括GRB和全局级域分类器D2，在分类和回归网络之后加入图原型匹配模块，分别从源域和目标域的检测结果中抽取出类别原型并将两者匹配，以解决域间实例和类别的匹配问题，实现从普通场景到极端天气场景的适应。本发明采用一致性联合训练方法。

技术领域

本发明属于计算机视觉、目标检测、迁移学习领域，尤其涉及一种面向复杂场景的域适应交通目标检测与识别方法。

背景技术

近年来随着人工智能技术的发展，自动驾驶得到了长足的发展。交通目标的检测与识别作为自动驾驶感知系统至关重要的部分，对智慧交通系统中车辆驾驶决策起到重要的辅助作用。自动驾驶的应用场景较为复杂，要求目标检测模型适应不同场景领域下的检测任务。同时，场景的多样性又导致了许多特殊场景下的样本缺失，这给检测任务带来更大的难度。

现有的交通目标检测方法和技术主要可以分为两阶段方法和单阶段方法。两阶段方法包括R-CNN、Faster R-CNN、Mask RCNN、Couple-net、ThunderNet等，单阶段方法包括YOLOv3、SSD、CornerNet、FCOS等。这些已有的目标检测方法在交通目标检测上已取得良好效果，但仍面临以下问题：1)场景域的复杂性和多样性，基于单一或者有限场景下的目标数据集的检测方法，无法应对真实的复杂交通场景下的检测任务，如光照变化、目标遮挡、尺度变化、极端天气变化(尤其是雨、雪、大雾等)等；2)现有训练数据量不充分问题，现有的交通场景数据集有限，部分特殊场景和特殊交通目标类别样本缺少，导致现有的检测方法训练不充分，容易出现过拟合问题，很难在真实交通场景中使用。

发明内容

有鉴于此，本发明目的是提供一种面向复杂场景的域适应交通目标检测与识别方法。

一种面向复杂场景的域适应交通目标检测与识别方法，包括以下几个步骤：

S1：目标检测网络从普通交通场景得到源域图像，从特殊场景得到目标域图像；

S2：双向特征提取网络对源域图像和目标域图像进行特征提取，得到包含丰富语义信息的浅层特征、深层特征和兴趣区域；

S3：分类网络对兴趣区域内的目标进行分类，回归网络对兴趣区域的位置进行回归，得到定位更精确的兴趣区域；

S4：对目标检测网络进行域适应学习，具体如下：

S41：两级域匹配器对双向特征提取部分得到的浅层特征进行局部域匹配，对双向特征提取部分的深层特征进行全局域匹配；

S42：图原型匹配方法对双向特征提取部分和分类、回归网络得到的兴趣区域进行域匹配；

S43：经过步骤S41和S42得到具备域适应能力的目标检测网络；

S5：以联合损失为目标函数对S4实现的具备域适应能力的目标检测网络进行联合一致性训练，得到具备一致性域适应方向的检测模型。

进一步地，S1中所述的源域图像是普通交通场景下的图像，目标域图像是特殊交通场景下的图像。

进一步地，S2中所述的双向特征提取部分包括主干网络、自底向上分支和自顶向下分支，所述主干网络采用ResNet-50，输出包括浅层特征、深层特征和兴趣区域。

进一步地，S41所述的两级域匹配器由GRB和域分类器组成，所述域分类器包括局部域分类器和全局域分类器。

进一步地，所述局部域分类器的损失函数为如下，