[发明专利]一种融合光流信息和Siamese框架的目标跟踪方法及装置

权利要求书

1.一种融合光流信息和Siamese框架的目标跟踪方法，其特征在于，所述方法包括：

S101：获取当前帧，当前帧为第N帧，其中N3，再获取当前帧的前面的三帧，分别是第N-3帧、第N-2帧、第N-1帧，所述第N-3帧、第N-2帧、第N-1帧分别和当前第N帧使用TVNet光流网络来计算光流，得到Flow1、Flow2、Flow3；并对Flow1、Flow2及Flow3进行裁剪(Crop)操作，得到22×22的光流矢量图P1、P2、P3；将当前帧输入特征网络，得到22×22的当前帧特征图F_N；将当前帧特征图F_N分别与光流矢量图P1、P2、P3结合，再对结合后的结果进行变形(Warp)操作，得到变形后的特征图F₁、F₂、F₃；

S102：将变形后的特征图F₁、F₂、F₃与当前帧特征图F_N作为检测帧输入时序打分模型，得到候选检测帧的特征权重，并将所述候选检测帧的特征权重与融合了光流特征的候选检测帧按照公式(1)相乘得到最终的检测帧；

i表示当前帧的序号，I_i指当前帧第i帧，I_j指在当前帧I_i前面的某一帧如第j帧，j∈{i-T,…,i-2,i-1}，T＝3，即当前帧的前面的三帧；是当前帧通过融合其他帧光流信息后得到的最终的检测帧，w_j-＞i表示由时序打分模型计算并输出的候选检测帧的特征权重；f_j-＞i是将第j帧中的运动信息通过光流网络映射到第i帧，然后再将得出的光流结果图与第j帧图像进行变形(Warp)操作；

将第j帧中的运动信息通过光流网络映射到第i帧定义为

f_j→i＝W(f_j,M_i→j)＝W(f_j,F(I_i,I_j))

其中，F(I_i,I_j)是通过所述光流网络对I_i和I_j进行光流计算，得出的结果实现了将第j帧中的运动信息映射到第i帧；f_j是第i帧的特征图，W(,)是对所述光流计算得出的结果与I_j帧融合，对融合后的信息，进行变形(Warp)操作，应用到每个通道特征映射定位的线性形变方程进行变形(Warp)操作；

其中，所述时序打分模型输入为未经打分的各个时段的变形后的特征图F₁、F₂、F₃与当前帧特征图F_N，输出为候选检测帧的权重数值；

所述时序打分模型具有池化层，其中的池化层可以执行全局平均池化操作和全局最大值池化操作，通过全局平均池化操作和全局最大值池化，对每个候选检测帧包含物体的信息量进行打分，得到操作后的中间矩阵，

所述全局平均池化操作为：

其中G_S-GA(...)表示全局平均池化过程，q_T表示T个候选检测帧，q_x和q_y表示特征图中的像素点，H表示输入到全局平均池化操作前特征图的高，W表示输入到全局平均池化操作前特征图的宽；

所述全局最大值池化操作为：

G_S-GM(q_T)＝Max(q_T(q_x,q_y))

G_S-GM(...)表示全局最大值池化过程；

所述全局平均池化操作输出一个T×1维的向量，构成全局平均池化中间矩阵，所述全局最大值池化操作也输出一个T×1维的向量，构成全局最大值池化中间矩阵；

将所述全局平均池化中间矩阵和所述全局最大值池化中间矩阵输入共享网络层，对每个候选帧与当前帧的关联性进行打分；通过共享网络层分别得到全局平均池化和最大值池化的权值矩阵，所述共享网络层实现卷积操作，参数由经验值或训练得到；再对两个权值矩阵进行逐元素相加操作，得到权重特征向量；并将得到的权重特征向量作为激活函数Relu的输入，所述激活函数Relu为：

其中，x指输入的所述权重特征向量，α为系数，

所述时序打分模型是由卷积神经网络模型根据损失函数进行训练的。