[发明专利]一种结合可见光和红外图像的多模态目标跟踪方法

摘要

本发明公开一种结合可见光和红外图像的多模态目标跟踪方法，步骤如下：分别获取可见光图像和红外图像；在任一模态下标定目标矩形框；两种模态下分别初始化目标模型；使用STRUCK算法分别跟踪T帧，在跟踪过程中判断是否要更新目标模型；跟踪T帧后，两种模态下分别往回跟踪T帧；分别计算两种模态下前向后向跟踪的误差；比较在这T帧两种模态下正向反向跟踪结果，选择可信度较高的模态作为这T帧的跟踪结果；这T帧下可信度比较小的模态位置更新为另一模态下的位置，并重新初始化目标模型；判断是否最后帧决定继续跟踪还是结束跟踪。本发明能在计算机上实现对视频的目标近乎实时跟踪，跟踪性能较普通方法也有很大的提高。

主权项

1.一种结合可见光和红外图像的多模态目标跟踪方法，其特征在于，步骤如下：分别获取可见光图像和红外图像；在任一模态下标定目标框；两种模态下分别初始化目标模型；使用STRUCK算法分别跟踪T帧，在跟踪过程中判断是否要更新目标模型；跟踪T帧后，两种模态下分别往回跟踪T帧；分别计算两种模态下前向后向跟踪的误差；比较在这T帧两种模态下正向反向跟踪结果，选择可信度较高的模态作为这T帧的跟踪结果；这T帧下可信度比较小的模态位置更新为另一模态下的位置，并重新初始化目标模型；判断是否最后帧决定继续跟踪还是结束跟踪；/n其具体过程如下：/n(1)读入图像：分别读入可见光和红外图像，分别将其转换成单通道图像后计算积分图；/n(2)在任一可见光或红外图像上手动框选目标框，框选后分别在可见光模态和红外模态这两种模态下通过粒子滤波采样正负样本，完成分类器的初始化；/n(3)读入下一帧的两种图像，在上一帧跟踪结果的基础上通过粒子滤波采样M个具有平移、尺度变化的样本，其中第一帧为步骤(2)中手动框选的位置；/n(4)分别采用在可见光模态和红外模态这两种模态的分类器在步骤(3)获得的样本中得到最好的样本作为该帧的跟踪结果；/n(5)判断分类器得到的最好的样本的分类得分是否大于预设的阈值，如果是，更新分类器，否则不更新；/n(6)判断该帧是否为预设T的倍数或者最后一帧，如果不是，则返回(3)；如果是，从该帧开始重新初始化两种模态的分类器，并从该帧开始，往回跟踪T帧，继续步骤(7)；/n(7)记这T帧的起始时间帧是τ