[发明专利]一种基于双向长短期记忆神经网络的目标跟踪方法

说明书

本发明公开了一种基于双向长短期记忆神经网络的目标跟踪方法，目的是提高目标识别准确率。技术方案是先构建由特征提取模块、目标检测模块、特征拼接模块、LSTM_f网络分支和LSTM_b网络分支、目标区域计算器构成的目标跟踪系统。然后选择OTB20作为对LSTM_f网络和LSTM_b网络的进行训练的训练数据集，采用边框回归方法对LSTM_f网络分支和LSTM_b网络分支进行训练，得到网络权重参数。最后采用目标跟踪系统对连续图像进行特征提取、目标检测，识别目标区域，训练后的LSTM_f网络分支和训练后的LSTM_b网络分支分别处理正向排序及反向排序的候选区域，目标区域计算器接收LSTM_f网络输出和LSTM_b网络输出，计算最终目标区域。本发明适合处理具有连续性的视频数据序列，目标跟踪准确率高。

技术领域

本发明涉及计算机视觉目标跟踪领域，具体涉及一种基于双向长短期记忆神经网络对视频序列中目标进行跟踪的方法。

背景技术

视觉系统是人类同外界交互的主要感官系统之一，是人们获取信息，接受外界丰富资源的重要来源。视频中丰富的画面不仅能够人们带来各种视觉效果体验，还包含了大量的语义信息和特征内容，帮助人们理解视频所要传达的信息。在全球智能化及信息化的时代，视频数据的分析与处理技术一直是科学家们重点研究内容。人工智能技术的发展与硬件设备计算性能的提升，推动了计算机视觉领域图像处理、目标识别、视频分析等多项技术的深入研究。视频分析融合了计算机视觉领域的中层处理和高层处理阶段，即对图像进行处理，从而研究图像中物体目标的规律，或者为系统的决策提供语义或非语义的支持，包括运动检测、目标检测分类、目标跟踪、行为理解、事件监测等。

视频目标跟踪方法的研究与应用作为计算机视觉领域的一个重要分支，正日益广泛地应到人机交互、无人机设备、智能监控系统、无人驾驶等领域，因而目标跟踪方法成为热门研究的课题之一。目标跟踪是计算机视觉领域的一项重要任务。在计算机视觉领域，视觉跟踪一般是指对单目标的跟踪。具体来说，目标跟踪指的是，根据在第一帧图像中给定目标的回归框信息，实现预测后续每帧图像中目标的状态，对应目标的回归框信息。通过直观标注的目标信息，可以计算出目标物体的位置和尺度信息，生成持续不断的轨迹信息，方便后续的目标位置预测、轨迹预测、行为检测和异常分析等任务。目前城市安防系统中使用的智能监控系统中，目标跟踪技术正在被广泛应用，实现特定目标的追踪，特定目标的行为预测等任务。因此对目标跟踪技术展开研究是十分必要的。

目标跟踪算法主要分为两大类，经典的生成式算法和流行的判别式算法。经典的生成式算法使用基于概率密度分布、特征点光流或者粒子滤波，在跟踪效果的精度上有折损。判别式跟踪算法又称为检测式跟踪，算法训练一个检测器，对目标位置及尺度进行初步判断，再利用跟踪算法或者目标框回归算法给出最终的目标定位。基于深度学习的判别式跟踪算法利用神经网络提取的深层卷积特征，具有语义更加丰富、表达能力更强的特点。目标在实际场景下现实场景中存在主动性的不确定行为，导致了目标跟踪需要解决目标大小变化、外观变化、目标受遮挡、实时性需求和背景干扰等问题。目标跟踪技术面对的是实际场景中的情况，会因为光照、目标大小、旋转、移动速度等问题增加跟踪难度。

目标跟踪任务使用的视觉数据为视频数据，视频数据的时序特征能够提供更好的描述运动目标在时间上的连续性，提供更多的上下文信息。基于深度学习的跟踪算法能够对目标提取鲁棒的深度特征，利用深层特征的不变性提高检测率，但是当目标出现巨大形变或者出现遮挡的情况时，只利用目标的外观特征信息不能得到准确的目标定位，忽略了视频数据提供的目标的连续性动态特征。因此，利用视频连续性提供的更丰富的目标动态信息，有助于更准确地对目标行为进行下一步预测。