[发明专利]一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法

说明书

本发明提供了一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法。该方法以孪生网络为基础，利用卷积网络的层次结构从不同层提取不同级别的信息，获得更丰富的特征表示。同时，使用长短时记忆网络将提取的特征编码成固定向量，它重点关注有用的信息，能够更好地描述图像以及图像间的差异，使得获得的特征向量鲁棒性更强。本发明将目标对象的特征与视频帧中的候选区域特征匹配并返回最相似的区域从而实现目标跟踪。此外，该方法利用大量外部数据集进行预训练时，模板更新引入置信决策方法，使得对目标模板的描述更充分。本发明提高了特征表示的鲁棒性，同时提高了目标跟踪的效果。

技术领域

本发明涉及深度学习和计算机视觉技术，具体涉及目标跟踪、神经网络以及图像处理领域。

背景技术

视觉目标跟踪已经成为计算机视觉领域重要的研究方向和研究热点。经过多年的发展，目标跟踪技术已经取得了长足的进步，但依然面临多方面的挑战，如何处理目标的快速移动，光照变化，目标外观变形，运动模糊和背景相似干扰等，这些因素都将导致目标漂移甚至跟踪失败。给定在视频的一帧中标记的感兴趣对象，单目标跟踪的目标是在随后的视频帧中找到该对象并且定位。目标跟踪可在许多重要场景中找到直接应用，例如自动驾驶，视频监控，人机交互等。

基于传统方法的目标跟踪一般是利用手工设计的特征进行目标建模，例如颜色特征等，不同特征从不同角度对目标进行描述，同时不同特征又各有其优缺点，例如Hog特征对颜色、光照变化不敏感，却对目标形变较为敏感。而基于深度学习的目标跟踪方法大多采用卷积神经网络对目标进行特征提取，基于CNN的特征虽然更鲁棒，但是这是基于训练样本足够大的情况下，在训练样本不够充分的情况下会影响对目标的建模效果，一般还需实时采用大量正负样本进行模型修正，通常速度较慢。孪生网络是一种神经网络的框架，它有两个结构相同且共享权值的子网络，接收两个输入并将其转换为向量，再通过距离度量的方式计算两个输出向量的距离，它用于评估两个输入样本的相似度。虽然基于孪生网络的跟踪算法取得了一些进步，但是这些方法仍然存在一些问题。首先，用于孪生网络的框架一般都是比较浅层的AlexNet网络，在深度学习任务中，已经证明了更深的网络具有更强的信息表征能力；其次，由于缺少动态的调节机制，孪生网络只能等价的对待特征图和特征空间，没有重点关注的区域，这样限制了模型的丰富的表征能力。目标特征表示的准确性直接影响了目标跟踪的效果，所以我们需要设计出一种鲁棒性更好的特征表示方法从而提升跟踪的准确度。

发明内容

本发明的目的是：针对基于孪生网络的跟踪算法出现的上述问题，本发明提供一种新的孪生匹配网络结构。在孪生网络的框架上，卷积层使用表达能力更强的VGG网络，同时增加长短期记忆(LSTM)层来引入注意力机制，通过对目标对象自身信息与长短时记忆层中的序列相关信息相结合，从中获得有用的鲁棒特征表示，从而提升了跟踪效果。

为了达到上述目的，本发明的技术方案是提供了一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法，其特征在于，包括以下步骤：

步骤1、数据预处理：在用于目标追踪的视频中以当前帧的前一帧推断出的目标位置为中心，在当前帧中裁剪出两倍于目标大小的区域作为搜索区域，在搜索区域内采样出候选样本区域；

步骤2、构建孪生匹配网络，包括以下步骤：

步骤201、设计孪生匹配网络的网络结构，孪生匹配网络由候选区域提出层、卷积层和LSTM模型层组成；候选区域提出层采用的是由粗到精的搜索方式来采样候选样本，卷积层使用不同层次的特征代表对象的外观，LSTM模型层对于候选样本和目标对象分别采用了双向LSTM和attention LSTM来编码，最后通过计算候选样本和目标模板的特征向量的余弦距离来得到最相似的样本作为跟踪目标；

步骤202、构建训练集，从训练集中获得多对训练样本，作为孪生匹配网络两个分支的输入；训练集采集方法为从视频中的每两帧开始，生成多对框，一对框中一个是一帧中的真实边界框，另一个是在另一帧中采样的候选框，同时使用置信决策方法，利用相似度的值决定是否更新目标模型；