[发明专利]基于深度学习的交通场景联合目标检测和语义分割方法

说明书

本发明提出了一种基于深度学习的交通场景联合目标检测和语义分割方法。该方法实现目标包括：构建基于深度学习的联合目标检测和语义分割网络，其通过将SE模块纳入Skip‑Connection机制中形成语义信息丰富的编码器‑解码器特征图，并设置了一种新的候选框初始化机制生成密集且多尺度的目标候选框，采用空洞卷积扩大感受野获取了全局信息，对分割分支采用Self‑Attention模块优化了语义分割的特征分布，并在语义分割和目标检测之间采用了Cross‑Attention模块优化了二者的性能，同时，目标检测和语义分割任务之间可以互惠互利，有效提高了交通场景中联合目标检测和语义分割结果的精度。仿真结果表明，相比现有方法，本发明对交通场景中的联合目标检测和语义分割精度均有较大提高。

技术领域

本发明属于计算机视觉领域，具体设计一种基于深度学习的交通场景联合目标检测和语义分割方法。

背景技术

目标检测和语义分割是计算机视觉中的两个重要任务，为自动驾驶和高级驾驶辅助系统等应用提供基础技术支持。早期，目标检测和语义分割被当做两个独立的问题进行研究，实际上二者是高度相关的，它们的工作可以互惠互利。语义分割能够为目标检测提供局部和全局的语义信息，而目标检测则提供先验知识来完善语义分割。另外，联合目标检测和语义分割模型可以通过共享相同的特征提取网络来节省计算消耗。因此，得益于深度学习技术的日益成熟，联合目标检测和语义分割技术逐渐成为当前的研究热点。

N.Dvornik等人在ICCV2017提出的BlitzNet是一个联合目标检测和语义分割的编码器-解码器网络，该网络用每个解码器层执行多尺度目标检测，并将每个解码器层进行融合来执行语义分割，该方法将目标检测和语义分割任务进行了简单的联合，没有充分挖掘目标检测和语义分割的联系；L.Chen等人在WACV2018提出的DspNet方法是一个轻量化的联合目标检测和语义分割网络，该网络的检测分支沿用W.Liu2016提出的SSD方法，分割分支则受到H.Zhao2017提出的PSPNet影响，该方法虽然速度较快，显存消耗较少，但其结构过于简单，对交通场景中小目标的检测和分割效果均不佳；J.Cao等人在CVPR2019提出的TripleNet也采用了编码器-解码器结构，并且采取了内部连接的模块来加强两个任务的相关性，该方法在检测和分割上效果较好，但模型的推理过程较为复杂，并且由于交通场景是高度动态化、复杂的场景，交通场景中的物体通常长宽比差别比较大，因此以上方法难以胜任交通场景中的联合目标检测和语义分割任务。

发明内容

本发明的目的是为克服上述已有技术的不足之处，提供了一种基于深度学习的交通场景联合目标检测和语义分割方法，用以提高现有技术的目标检测和语义分割的精度，提高交通场景中车辆对周围环境的感知能力。

为达到上述目的，本发明采用如下技术方案来实现的：

基于深度学习的交通场景联合目标检测和语义分割方法，包括以下步骤：

步骤一，构建联合目标检测和语义分割神经网络Q；联合目标检测和语义分割神经网络Q由三部分组成，分别是编码器-解码器图像特征提取网络，语义分割网络和目标检测网络，所述编码器-解码器图像特征提取网络连接目标检测网络和语义分割网络；

步骤二，根据交通场景特点，设置用于目标检测的多尺度目标候选框A；令S_k为每一层解码器特征图所对应的基本比例，m为解码器特征图的数量，k为特征图的索引，定义S_k为：

其中S_smallest，S_min，S_max是自定义参数，定义S_smallest＝0.04，S_min＝0.1，S_max＝0.95，m＝7；