[发明专利]一种融合光流信息和Siamese框架的目标跟踪方法及装置

说明书

本发明提供一种融合光流信息和Siamese框架的目标跟踪方法及装置所述方法包括：获取当前第N帧及当前帧的前面的三帧的光流信息，再获取当前帧，当前帧为第N帧，其中N3，再对当前帧的前面的三帧进行处理后，得到变形后的特征图，将变形后的特征图及当前帧特征图，作为检测帧输入时序打分模型，得到各特征图即光流整合帧的特征的权重，并将所述各特征图的权重与所述特征图进行运算得到最终的检测帧。根据本发明的方案，基于整合了光流信息的特征图并结合Siamese框架进行目标跟踪，计算精度高、速度快，可以跟踪背景复杂以及剧烈运动的对象。

技术领域

本发明涉及图像识别领域，尤其涉及一种融合光流信息和Siamese框架的目标跟踪方法及装置。

背景技术

随着计算机视觉的快速发展，单目标跟踪越来越受到大众的关注。跟踪算法从卡尔曼、粒子滤波器和特征点匹配的生成式模型算法到现在的基于相关滤波框架和Siamese(孪生)框架的差别式模型算法，跟踪算法的精度及运算速度在不断提高。

基于特征点匹配的生成式模型算法的优点是模型结构简单，无训练过程，但是计算精度不高，有遮挡时特征点会消失；基于Siamese框架的全卷积网络模型算法计算速度快，但只考虑了图像的外观特征，无法跟踪背景复杂以及剧烈运动的对象。

发明内容

为解决上述技术问题，本发明提出了一种融合光流信息和Siamese框架的目标跟踪方法及装置，用以解决现有技术中基于特征点匹配的生成式模型算法计算精度不高、基于Siamese框架的全卷积网络模型算法无法跟踪背景复杂以及剧烈运动的对象的技术问题。

根据本发明的第一方面，提供一种融合光流信息和Siamese框架的目标跟踪方法，包括：

S101：获取当前帧，当前帧为第N帧，其中N3，再获取当前帧的前面的三帧，分别是第N-3帧、第N-2帧、第N-1帧，所述第N-3帧、第N-2帧、第N-1帧分别和当前第N帧使用TVNet光流网络来计算光流，得到Flow1、Flow2、Flow3；并对Flow1、Flow2及Flow3进行裁剪(Crop)操作，得到22×22的光流矢量图P1、P2、P3；将当前帧输入特征网络，得到22×22的当前帧特征图F_N；将当前帧特征图F_N分别与光流矢量图P1、P2、P3结合，再对结合后的结果进行变形(Warp)操作，得到变形后的特征图F₁、F₂、F₃；

S102：将变形后的特征图F₁、F₂、F₃与当前帧特征图F_N作为检测帧输入时序打分模型，得到所述候选检测帧的特征权重，并将所述候选检测帧的特征权重与融合了光流特征的候选检测帧按照公式(1)相乘得到最终的检测帧；

i表示当前帧的序号，I_i指当前帧第i帧，I_j指在当前帧I_i前面的某一帧如第j帧，j∈{i-T,...,i-2,i-1}，T＝3，即当前帧的前面的三帧；是当前帧通过融合其他帧光流信息后得到的最终的检测帧，w_j-i表示由时序打分模型计算并输出的候选检测帧的特征权重；f_j-i是将第j帧中的运动信息通过光流网络映射到第i帧，然后再将得出的光流结果图与第j帧图像进行变形(Warp)操作；

将第j帧中的运动信息通过光流网络映射到第i帧定义为

f_j→i＝W(f_j,M_i→j)＝W(f_j,F(I_i,I_j))