[发明专利]一种复杂环境中的深度目标跟踪方法

说明书

本发明提出了一种复杂环境中的深度目标跟踪方法。该方法在跟踪网络中输入模板帧和检测帧，通过改进残差模块后的主干网络进行特征提取，再将提取后的图像特征输入至区域提议网络模块，经过分类分支和回归分支，最后输出目标的预测位置，完成跟踪。同时，根据特征图之间的互相关运算阈值进行模板帧更新与检测帧的全局搜索。该方法很好地解决了视频中存在干扰物、目标遮挡、快速移动、尺度变化等问题。

技术领域

本发明属于图像目标跟踪领域，具体涉及一种目标跟踪方法。

背景技术

目标跟踪作为计算机视觉领域的重要研究课题，已经成功应用于多个领域。在日常生活中，智能视频监控系统通常对商场、银行、停车场等重要公共场所进行监控。当被监控场景出现变化时，系统对场景中可疑目标进行跟踪，并在此基础上对该目标的行为进行分析和判断，最后对分析得到的异常行为及时进行反馈和处理。智能监控系统可应用于各类社会安全保护不仅大大的降低了人力物力的投入，跟踪技术的使用可减少各类非法行为的发生，保障了人们生命和财产的安全。而在视觉导航方面，视觉信息是智能系统一种重要的信息源，为能实现自主运动，智能系统须根据采集的视觉信息认识和跟踪环境中的物体。

在目标跟踪问题上，存在诸多挑战问题。主要包括相似目标干扰、目标遮挡、目标快速移动和目标尺度变化等。其中，相似目标干扰，即在被跟踪目标周围存在非常相似的其他目标，跟踪器常常因为干扰物与目标之间的相似性跟踪到相似的其他物体上。目标遮挡是指目标在运动过程中常常被其他物体遮挡，而改变了目标的观测外观，而使得现有的跟踪模板失效。而目标快速移动，往往使得跟踪器无法在小范围内检测到目标，增加了目标搜索的复杂度。目标尺度变换是目标在运动过程中，由远及近或由近及远而产生的尺度大小变化的现象，预测目标框的大小应当做相应的调整，否则也将累计误差最终影响目标跟踪的准确度。针对以上问题，不少学者也给出了一些解决方案。但是现有的技术方案中，并没有完全解决上述问题，在目标存在干扰、遮挡、快速移动、尺度变化等情况下，目标容易丢失，跟踪效果不理想。

发明内容

为了克服现有技术的不足，本发明提供了一种复杂环境中的深度目标跟踪方法。该方法在跟踪网络中输入模板帧和检测帧，通过改进残差模块后的主干网络进行特征提取，再将提取后的图像特征输入至区域提议网络模块，经过分类分支和回归分支，最后输出目标的预测位置，完成跟踪。同时，根据特征图之间的互相关运算阈值进行模板帧更新与检测帧的全局搜索。该方法很好地解决了视频中存在干扰物、目标遮挡、快速移动、尺度变化等问题。

为达到上述目的，本发明提供一种复杂环境中的深度目标跟踪方法，包括以下步骤：

步骤1：目标跟踪网络训练

步骤1-1：从公共数据集中获取训练用视频样本；根据式(1)计算视频样本第一帧图像中目标真值框宽w和高h的平均值p；以目标真值框中心位置为中心点，在视频样本第一帧图像中选取矩形区域，矩形区域的宽为w′，高为h′，w′和h′根据式(2)进行计算；选取的矩形区域如果超出第一帧图像范围，超出的部分采用矩形区域在图像内部分所有像素点的RGB三通道颜色均值进行填充；再将矩形区域尺寸通过缩放变化为D*D，D为预设值，将该D*D大小的图像作为网络训练用模板帧；

w′＝w+p h′＝h+p (2)

步骤1-2：根据式(1)计算视频样本除第一帧外的其余每帧图像中目标真值框宽w和高h的平均值p；以每帧图像中目标真值框中心位置为中心点，在每帧图像中选取矩形区域，矩形区域的宽为4w′，高为4h′，w′和h′根据式(2)进行计算；选取的矩形区域如果超出当前帧图像范围，超出的部分采用矩形区域在当前帧图像内部分所有像素点的RGB三通道颜色均值进行填充；再将矩形区域尺寸通过缩放变化为E*E，E为预设值，将每帧图像生成的所有E*E大小的图像作为网络训练用检测帧；

步骤1-3：定义基础残差模块1和基础残差模块2；