[发明专利]基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法

权利要求书

1.基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法，其特征在于，包括以下步骤：

步骤1，选择预训练好的AlexNet网络作为孪生网络的全卷积特征提取网络；

步骤2，选择预训练好的LSTM网络作为轨迹预测器；

步骤3，获取视频序列，采用全卷积特征提取网络提取视频序列的深度特征并通过细粒度匹配方式分解成一组细粒度的卷积核，对卷积核组做划窗操作得到相匹配的响应图，从而得到目标跟踪结果；

步骤4，将当前帧以前8帧的跟踪结果作为当前帧的历史轨迹信息输轨迹预测器L(·)中以预测出目标在当前帧跟踪结果；

步骤5，将步骤3得到的目标跟踪结果和LSTM预测出的跟踪结果进行加权融合得到最终的跟踪结果。

2.如权利要求1所述的基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法，其特征在于，所述步骤3具体的为：

步骤3.1，获取跟踪视频，在视频的第一帧上手动选择目标所在区域，将第一帧的目标区域作为模板输入到特征提取网络中，得到模板的深度特征再将模板特征按空间维度分解成一组细粒度的卷积核

步骤3.2对于当前帧，利用上一帧中目标的坐标位置(x_t-1,y_t-1)和宽高(w_t-1,h_t-1)得到当前帧的搜索区域X_t，并输入到特征提取网络中得到当前帧搜索区域的深度特征

步骤3.3，根据划窗操作对卷积核组依次和当前帧搜索区域的深度特征做相似性计算，得到相应的响应图；

步骤3.4，将响应图插值到固定大小，响应图上的最大值点对应当前帧中目标所在的位置，即当前帧的跟踪结果。

3.如权利要求2所述的基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法，其特征在于，所述步骤3.3具体的为：

通过细粒度的匹配方式对由模板特征分解生成的卷积核组中的元素和搜索区域特征依次划窗操作，

当单个卷积核作用于搜索区域上时，在搜索区域上总存在一个与该卷积核尺寸相同的区域，定义该区域为

用余弦相似度度量和的这两个向量的相似程度，公式：

是搜索区域中位置(x,y)处经过平铺操作以后的特征向量，是卷积核组中第m个卷积核经过平铺以后得到的特征向量；

每做一次完整划窗操作之后，都会产生一个和搜索区域特征图相同尺寸的响应图，当所有卷积核全部依次完成划窗操作后，产生的响应图的尺寸和搜索区域特征图的尺寸相同，最终的响应图h_c(Z,X_t)为的集合。

4.如权利要求3所述的基于历史轨迹信息和细粒度匹配的孪生网络目标跟踪方法，其特征在于，所述划窗操作具体的为：

卷积核组当中的卷积核依次在搜索区域上从左上角开始进行滑窗操作，滑动的方向先是在搜索区域的第一行从左边滑到最右边，再从第二行的最左边滑到最右边，依此类推，直至划至最后一行的最右边。