[发明专利]一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法

权利要求书

1.一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法，其特征在于，包括以下步骤：

步骤1、数据预处理：在用于目标追踪的视频中以当前帧的前一帧推断出的目标位置为中心，在当前帧中裁剪出两倍于目标大小的区域作为搜索区域，在搜索区域内采样出候选样本区域；

步骤2、构建孪生匹配网络，包括以下步骤：

步骤201、设计孪生匹配网络的网络结构，孪生匹配网络由候选区域提出层、卷积层和LSTM模型层组成；候选区域提出层采用的是由粗到精的搜索方式来采样候选样本，卷积层使用不同层次的特征代表对象的外观，LSTM模型层对于候选样本和目标对象分别采用了双向LSTM和attention LSTM来编码，最后通过计算候选样本和目标模板的特征向量的余弦距离来得到最相似的样本作为跟踪目标；

步骤202、构建训练集，从训练集中获得多对训练样本，作为孪生匹配网络两个分支的输入；训练集采集方法为从视频中的每两帧开始，生成多对框，一对框中一个是一帧中的真实边界框，另一个是在另一帧中采样的候选框，同时使用置信决策方法，利用相似度的值决定是否更新目标模型，具体包括以下步骤：

若相似度小于0.5，则认为当前帧发生了误匹配，此时不更新目标模型；若相似度大于0.8，则认为当前帧的匹配结果较为准确，目标模型无需更新；若相似度在(0.5,0.8)之间，则利用公式P_t＝λP_t-1+(1-λ)Q对当前帧的目标模板P_t进行更新，式中，P_t-1为上一帧中目标模板，Q为当前帧中匹配到的目标模板，λ为更新权重；

步骤203、对步骤201构建的孪生匹配网络进行训练，更新网络参数直至满足收敛条件，以及调试优化超参数；

步骤3、在视频测试集中进行目标跟踪：在孪生匹配网络训练完后，将要跟踪的目标区域裁剪出来作为孪生匹配网络的一个输入，当前帧搜索区域裁剪出来的候选样本区域作为另一个输入，通过网络得到的鲁棒特征向量来计算目标区域和候选样本区域的相似度，找到相似度最高的候选样本图像，即可得到目标在当前帧的位置，函数Sim[x,x_i]反映了目标区域和候选样本区域的相似程度，有：

Sim[x,x_i]＝C(f(x)g(x_i))

式中，x为目标图像，x_i为候选样本图像，C为余弦距离，f(x)为对目标的特征表示函数，g(x_i)为对候选样本的特征表示函数。

2.如权利要求1所述的一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法，其特征在于，步骤1中，同时使用ROIPooling以便在一帧中快速处理多个区域以得到特征图。

3.如权利要求1所述的一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法，其特征在于，步骤1中，所述数据预处理步骤具体如下：

如果第t帧的目标对象边界框具有中心(x_t,y_t)且其宽度和高度为W_t和H_t，则候选框采样以(x_t,y_t)为中心，宽度和高度为2W_t和2H_t的区域内按步长Δ_s进行采样。

4.如权利要求1所述的一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法，其特征在于，步骤203中，对网络进行训练的具体步骤为：根据匹配网络得到的相似度最大的候选样本是否与目标真实区域的交叉联合重叠最大来对网络进行训练，反向传播的损失直接来源于匹配的结果；卷积层通过梯度下降的方法训练，同时通过使用反向传播时间最小化交叉熵损失来训练长短期记忆层，基于训练样本重复更新网络，直到网络收敛或达到预定义的迭代次数。

5.如权利要求1所述的一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法，其特征在于，步骤3中，对候选样本的特征表示函数g(x_i)具体由以下步骤表示：

步骤301、使用卷积层提取候选目标的原始特征g'(x)，每个候选样本x_i维护四个状态变量分别是前向隐状态后向隐状态前向记忆以及后向记忆

步骤302、前向变量由前一个参考样本的隐状态和上下文经过LSTM模型得到，当前样本的原始特征作为输入，如下式：

式中，LSTM表示LSTM模型；

步骤303、后向变量由后一个参考样本的隐状态和记忆经过LSTM模型确定，当前样本的原始特征作为输入，如下式：

步骤304、候选样本特征表示由其隐状态和原始特征共同决定，如下式：

式中，k表示样本的数量；

步骤3中，对目标的特征表示函数f(x)具体由以下步骤表示：

步骤311、使用参数共享的卷积层提取目标对象的原始特征f′(x)，通过l＝1,2,...,L次迭代，使用一个注意力LSTM模型计算测试样本的特征，每一步维护四个状态变量，分别是隐变量h_l，读数r_l以及记忆c_l；

步骤312、在第l步，用LSTM模型计算原始隐变量和记忆，如下式：

步骤313、加上原始特征，获得第l步的隐变量，记为

步骤314、第l步的读数是参考集特征的加权和，记为注意力函数是softmax形式，将所有参考集样本归一化，记为

步骤315、除了以测试样本作为输入，在每一个步骤中，还要根据LSTM的状态h，决定把注意力放在哪一些参考集样本上，最后一步的读数即为目标对象特征，即