[发明专利]一种基于注意力机制的车辆跟踪的实现方法和装置

说明书

本申请提供了一种基于注意力机制的车辆跟踪的实现方法和装置，该方法利用多尺度可变注意力替换掉编码器的自注意力和解码器的交叉注意力，利用最后提取的高维特征，从多个特征图进行识别，在降低模型参数量的同时提升获取大感受野的能力，有效降低计算代价，提升计算效率，从而同时满足跟踪过程对于车辆细节特征信息的精确需求。

技术领域

本申请涉及计算机视觉和机器学习技术领域，具体涉及一种基于注意力机制的车辆跟踪的实现方法和装置。

背景技术

交通智能化是21世纪世界道路交通的发展趋势，也是我国建设智慧城市不可或缺的一环。道路交通基础建设的不断发展和车辆管理体制的不断完善，为以监控视频为基础的智慧交通系统的实际应用打下了良好基础。基于跟踪的车辆信息分析系统的应用是道路交通管理中实现“科技强警”的重要举措，有利于缓解多年来警力不足和交通事故不断攀升之间的矛盾，同时在一定程度上消除了道路交通管理在时间和空间上的“盲点”，扩大了交通管理的监控时段和监控范围，减轻了一线交通民警的劳动强度，改善了工作环境，科学准确的信息给交通管理提供了决策依据。

然而，在实际系统应用的过程中，作为核心功能的目标跟踪和车辆属性检测深度学习算法在训练过程中，效果与性能往往受到其训练数据集的影响，但多数车辆数据集对车辆的信息仅包含颜色、类型、车牌、子品牌等少量标注信息，同时面向车辆信息的监控任务的往往面临复杂场景，如光照变化、尺度变化等，对车辆等刚性物体外观影响大，因此对于车辆的跟踪与信息结构化输出带来了挑战。因此，研究精确的车辆跟踪算法结合车身小尺度细节信息如车牌的识别作为认证车辆的权威信息，然后采用特征提取与模式匹配等方法应用到面向监控视频的车辆信息分析平台中，可以增强车辆目标跟踪的精度，有利于提高车辆信息分析系统的效率和准确性。多目标跟踪任务中的关键方法分类，主要分为基于检测的方法，即双步法；以及基于检测和跟踪联合的方法，即单步法。单纯基于检测的跟踪方法在理想视频拍摄情况下都能够很好的工作，但是如果视频中目标运动得很快，前后两帧中同一个目标运动的距离很远，那么这种跟踪方式就会出现问题。具体来说，在实际工程中，经过网络处理给出的被检测物体在图像中的像素信息(定位)与类别信息(分类)是远远不够的，实际检测过程中，外界环境复杂(光照、遮挡等)、相机会抖动等多因素影响，如果仅依赖检测的结果，检测框是很不稳定的。

同时，基于检测和跟踪联合的方法存在的问题是，轨迹预测的前提是需要知道目标前面若干帧的轨迹信息，因此在刚开始，目标的轨迹是预测不到的，或者说预测得不准。所以在刚开始的几帧，往往还是需要使用原来的方式进行对比关联。

发明内容

为了解决道路交通监控视频中的车辆目标缺乏丰富标准信息且受光照与尺度变化对外观影响较大的问题，本发明提出了一种基于注意力机制的车辆跟踪的实现方法和装置，该方基于法面向少量标注信息的车辆跟踪算法，在目标检测阶段利用注意力机制可以更多关注车辆特有细节(如外框、车灯边缘等)，弥补标签不足带来的特征匹配方面的缺陷，同时降低了光照、尺度以及复杂运动问题对车辆外观影响的检测难度。本申请所采用的技术方案如下：

一种基于注意力机制的车辆跟踪的实现方法，该方法包括：

步骤S1，采用根据颜色、纹理、尺寸和空间交叠相似度的选择性搜索对图像进行处理，生成候选区域；

步骤S2，采用无锚点的目标检测骨干网络，自适应目标特征，利用关键特征点与被检测物体进行匹配；

步骤S3，构建基于注意力机制的车辆跟踪算法，并设定和调整车辆跟踪算法参数集，将步骤S2保存的关键特征点数据导入所述基于注意力机制的车辆跟踪算法中，迭代生成车辆跟踪信息模型并保存。

进一步的，在步骤S1之前，该方法还包括：步骤S0，获取包含视频文本成对标注信息的训练数据集合T、验证数据集合V及测试数据集合U。

进一步的，步骤S2进一步包括：