[发明专利]一种基于孪生网络的跟踪模型的特征匹配方法

说明书

本发明公开了一种基于孪生网络的跟踪模型的特征匹配方法，先将模板帧和检测帧送入网络进行卷积特征提取生成对应的模板特征图和检测特征图，得到匹配特征图，然后对区域建议网络优化，通过增加卷积层数量和通道数以及引入分组卷积来增强匹配，对模板特征图和检测特征图进行特征匹配，得到的匹配特征图进行必要分类和回归分支的维度映射，最终输出两分支的响应图；本发明方法具有一定的适应性与可扩展性，可应用于基于孪生网络结构的跟踪算法网络模型，在不牺牲其速度性能情况下增强其跟踪精度。

技术领域

本发明属于目标跟踪技术领域，特别涉及一种基于孪生网络的跟踪模型的特征匹配方法。

背景技术

在目标跟踪领域，速度和精度是算法性能评价的两大核心指标。跟踪方法的应用需要在精度和速度上均衡提升，但是目前已有的跟踪方法大多侧重跟踪精度的提升，而忽略甚至牺牲跟踪速度的跟踪性能。

SiamRPN(Siamese region proposal network)算法是Li等人在2018年提出的一种实时目标跟踪算法，性能均衡优秀，受到学术界与工业界的青睐。SiamRPN的网络结构可分为如图1所示的左右两个部分：孪生网络和区域建议网络。其中孪生网络用于模板帧和检测帧的图像特征提取。区域建议网络分为两个分支：分类分支和回归分支。分类分支用于区分目标与背景，而回归分支则是为了得到更精确的目标大小与定位。孪生网络一般都是采用通用的特征提取网络如AlexNet，VGGNet等网络。

不论分类分支还是回归分支，其中都涉及到模板匹配的关键步骤。如图2所示，目标跟踪模型中推理计算时针对跟踪的视频帧序列，一般首帧中目标被人工标注作为模板帧，而后续帧作为检测帧。模板帧被送至网络先进行卷积特征提取，以及经过不同的卷积层映射，分别生成用于分类分支和回归分支的权重，这两个权重作为后续帧的匹配模板。而后续帧作为检测帧送入网络时，同样先进行主干网络的特征提取，生成对应的特征图，这里的主干网络与模板帧的主干网络共用权重。而后将检测帧得到的特征图分别送入分类分支与回归分支，经过卷积层后，将模板帧生成的匹配模板作为卷积核进行卷积运算，最后生成各自分支的响应图，再经过后处理得到预测的目标边界框。

发明内容

针对目前多数孪生网络跟踪模型的跟踪速度与跟踪精度提升不平衡的问题，本发明提出了一种基于孪生网络的跟踪模型的特征匹配方法。

本发明解决其技术问题所采用的技术方案是：一种基于孪生网络的跟踪模型的特征匹配方法，包括如下步骤：

步骤S1，将跟踪目标的视频帧序列中的首帧作为模板帧，后续帧作为检测帧，送入主干网络进行卷积特征提取生成对应的模板特征图z和检测特征图x；

将模板特征图z作为区域建议网络中分类分支的输入，通过卷积层对模板特征图z进行映射，同时进行升维将通道数增加到2k，得到输出模板特征图其中k是预选不同长宽比的锚框个数；同时将检测特征图x作为输入，通过卷积层对检测特征图x进行映射，得到输出特征图/

将模板特征图z作为区域建议网络中回归分支的输入，通过卷积层对模板特征图z进行映射，同时进行升维将通道数增加到4k，得到输出模板特征图其中k是预选不同长宽比的锚框个数；同时将检测特征图x作为输入，通过卷积层对检测特征图x进行映射，得到输出特征图/

利用互相关操作分别对分类分支和回归分支进行模板匹配：

其中★表示相关操作，和/分别表示以模板特征图/和/作为卷积核进行分组卷积操作得到的响应特征图；

步骤S2，基于SiamRPN网络，在互相关的卷积运算中添加深度互相关模块，先将区域建议网络中上下并行的两个前端卷积层和一个深度互相关模块作为匹配模块，找到响应特征图两和/中相似特征，再通过区域建议网络中的维度映射模块进行1×1卷积维度的特征图映射，分别实现前后景分类以及目标坐标回归；