[发明专利]一种基于PVANET神经网络的目标跟踪方法

摘要

本发明提出了一种基于PVANET神经网络的目标跟踪方法。该方法不再使用Edgeboxes算法进行不同尺度的候选样本的提取，而是改用PVANET神经网络进行深度特征提取，并将浅层网络输出具有的空间信息的深度特征和深层网络输出的具有的判别能力的深度特征进行融合，在融合后的深度特征的基础上，利用PVANET神经网络中的RPN层进行不同尺度的候选样本的提取，并同时输出候选样本所对应的融合后的深度特征。该方法在利用神经网络中具有强大表征能力的深度特征的基础上，进行特征融合和不同尺度的候选样本的提取，从而提高目标跟踪精度。该方法是一种鲁棒性的跟踪算法，能在不同的跟踪场景中取得不错的效果。

主权项

1.一种基于PVANET神经网络的目标跟踪方法，其特征在于，具体步骤包括：步骤一、对于第一帧图像t＝1，跟踪任务给予的第一帧跟踪目标的中心位置(xt,yt)以及跟踪目标区域大小信息(lt,ht)，对跟踪目标区域进行一定比例的扩大(lp,t,hp,t)＝α(lt,ht)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到训练样本；其中xt为跟踪目标中心位置的横坐标，yt为跟踪目标中心位置的纵坐标，lt为原跟踪目标区域的长度，ht为原跟踪目标区域的宽度，α为扩大比率，lp,t为扩大后跟踪目标区域的长度，hp,t为扩大后跟踪目标区域的宽度；步骤二、对于在第一帧图像中采样得到的训练样本T，将其输入到PVANET神经网络中，提取出PVANET神经网络中的Convf层输出的分类特征其中Z_T表示PVANET神经网络中通道数为512的Convf层输出的分类特征，表示PVANET神经网络中的Convf层输出的分类特征Z_T中第n维特征；步骤三、将训练样本T经过PVANET神经网络后提取得到的Convf层输出的分类特征用于相关滤波器参数的计算；步骤四、对于下一帧图像t+1，根据上一帧跟踪目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)，根据目标中心位置(xt,yt)以及扩大后的跟踪目标区域大小(lp,t,hp,t)在该帧图像中进行采样，得到候选区域样本P；步骤五、对于采样得到的候选区域样本P，将其输入到PVANET神经网络中，提取出PVANET神经网络中的RPN层输出的离上一帧跟踪目标中心位置(x_t,y_t)最近的5个候选框，并对这五个候选框依据步骤一中的扩大比率α进行背景信息的添加，而后进行采样并变形至步骤一中的跟踪目标区域大小(l_p,t,h_p,t)，从而构成的候选样本集X＝(X₁ X₂ … X₅)，以及这5个候选样本构成的候选样本集X所对应的Convf层输出的分类特征其中表示第一个候选样本X₁对应PVANET神经网络中的Convf层中输出的通道数为512的分类特征，即步骤六、将候选样本集每个候选样本所对应的Convf层输出的分类特征用于响应图的计算，最终确定该帧跟踪目标的中心位置(x_t+1,y_t+1)和跟踪目标区域大小(l_t+1,h_t+1)；步骤七、在得到跟踪目标的中心位置和区域大小后，不断重复步骤一至步骤六，直到视频结束，完成对跟踪目标的中心位置以及区域大小的跟踪。