[发明专利]一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法

摘要

本发明提供了一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法。该方法以孪生网络为基础，利用卷积网络的层次结构从不同层提取不同级别的信息，获得更丰富的特征表示。同时，使用长短时记忆网络将提取的特征编码成固定向量，它重点关注有用的信息，能够更好地描述图像以及图像间的差异，使得获得的特征向量鲁棒性更强。本发明将目标对象的特征与视频帧中的候选区域特征匹配并返回最相似的区域从而实现目标跟踪。此外，该方法利用大量外部数据集进行预训练时，模板更新引入置信决策方法，使得对目标模板的描述更充分。本发明提高了特征表示的鲁棒性，同时提高了目标跟踪的效果。

主权项

1.一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法，其特征在于，包括以下步骤：步骤1、数据预处理：在用于目标追踪的视频中以当前帧的前一帧推断出的目标位置为中心，在当前帧中裁剪出两倍于目标大小的区域作为搜索区域，在搜索区域内采样出候选样本区域；步骤2、构建孪生匹配网络，包括以下步骤：步骤201、设计孪生匹配网络的网络结构，孪生匹配网络由候选区域提出层、卷积层和LSTM模型层组成；候选区域提出层采用的是由粗到精的搜索方式来采样候选样本，卷积层使用不同层次的特征代表对象的外观，LSTM模型层对于候选样本和目标对象分别采用了双向LSTM和attention LSTM来编码，最后通过计算候选样本和目标模板的特征向量的余弦距离来得到最相似的样本作为跟踪目标；步骤202、构建训练集，从训练集中获得多对训练样本，作为孪生匹配网络两个分支的输入；训练集采集方法为从视频中的每两帧开始，生成多对框，一对框中一个是一帧中的真实边界框，另一个是在另一帧中采样的候选框，同时使用置信决策方法，利用相似度的值决定是否更新目标模型；步骤203、对步骤201构建的孪生匹配网络进行训练，更新网络参数直至满足收敛条件，以及调试优化超参数；步骤3、在视频测试集中进行目标跟踪：在孪生匹配网络训练完后，将要跟踪的目标区域裁剪出来作为孪生匹配网络的一个输入，当前帧搜索区域裁剪出来的候选样本区域作为另一个输入，通过网络得到的鲁棒特征向量来计算目标区域和候选样本区域的相似度，找到相似度最高的候选样本图像，即可得到目标在当前帧的位置，函数Sim[x,x_i]反映了目标区域和候选样本区域的相似程度，有：Sim[x,x_i]＝C(f(x)g(x_i))式中，x为目标图像，x_i为候选样本图像，C为余弦距离，f(x)为对目标的特征表示函数，g(x_i)为对候选样本的特征表示函数。