[发明专利]基于双模板特征融合的孪生网络目标跟踪方法

说明书

本发明公开一种基于双模板特征融合的孪生网络目标跟踪方法，包括：步骤1，获取特征提取网络特征提取网络步骤2，获取跟踪视频，对第一帧、第二帧手动选取目标区域分别输入到特征提取网络得到深度特征和深度特征从第三帧起，将当前帧的搜索区域分别输入至特征提取网络和特征提取网络中，分别得到浅层特征和深层特征步骤3，利用分别对当前帧搜索区域的浅层特征和深层特征做相似性度量，获得的响应图h₁(Z₁,S_t)、h₂(Z₁,S_t)、h₁(Z₂,S_t)和h₂(Z₂,S_t)；步骤4，通过对响应图加权融合、判断可靠性得到最终的响应图，最终的响应图的最大值点就是目标所在位置。本发明解决了孪生网络目标跟踪方法易受到模板图像不可靠或对目标外观变化不鲁棒而导致跟踪失败的问题。

技术领域

本发明属于目标跟踪技术领域，涉及一种基于双模板特征融合的孪生网络目标跟踪方法。

背景技术

在计算机视觉领域中，目标跟踪一直是当前的重要课题和研究方向。目标跟踪的主要内容就是在给定某视频序列初始帧中目标信息的情况下，在后续帧中预测出该目标的位置及大小等关键信息。目标跟踪广泛应用于视频监控、智能交通、人机交互、自主导航等多个领域，具有重要的理论研究价值和工程应用价值。

基于孪生网络的目标跟踪方法是现在目标跟踪方法的主流，该方法能很好地平衡精准性和实时性。孪生网络结构的主要思想是找到一个可以将输入的图片映射到高维空间的函数，使得目标空间中的简单距离近似于输入空间的“语义”距离。该网络过去主要用于度量学习，用来计算图像、声音、文本等信息的相似性。孪生网络目标跟踪实际上是相似性学习的过程，将目标初始帧和后续帧图像输入到权值共享的深度学习网络，得到二者的相似度响应图，确定目标的位置。现有的基于孪生网络的目标跟踪方法一般只采用一个模板图像，没有考虑到模板图像不可靠的问题，不能很好地跟踪目标；另外现有方法中只采用同一种深度学习网络提取特征，输出太过单一，并且使用层数较少的深度网络时不能很好地挖掘到跟踪目标的深层语义信息。

发明内容

本发明的目的是提供一种基于双模板特征融合的孪生网络目标跟踪方法，解决了孪生网络目标跟踪方法易受到模板图像不可靠或对目标外观变化不鲁棒而导致跟踪失败的问题。

本发明所采用的技术方案是：

基于双模板特征融合的孪生网络目标跟踪方法，具体步骤如下：

步骤1，将训练好的AlexNet网络和改进的AlexNet网络分别作为孪生网络的特征提取网络特征提取网络

步骤2，获取跟踪视频，对第一帧手动选取目标区域输入到特征提取网络得到深度特征对第二帧手动选取目标区域输入到特征提取网络得到深度特征从第三帧起，根据上一帧的目标大小确定当前帧的搜索区域并分别输入至特征提取网络和特征提取网络中，分别得到当前帧搜索区域的浅层特征和深层特征

步骤3，利用模板深度特征分别对当前帧搜索区域的浅层特征和深层特征做相似性度量，获得响应图h₁(Z₁,S_t)、h₂(Z₁,S_t)、h₁(Z₂,S_t)和h₂(Z₂,S_t)；

步骤4，通过对响应图加权融合、判断可靠性得到最终的响应图，最终响应图的最大值点就是目标所在位置。

本发明的特点还在于：

步骤1中AlexNet网络由依次连接的5个卷积层组成，前两个卷积层后面分别连接一个最大池化层，其中前4个卷积层后面都有随机失活层和RELU非线性激活函数。