[发明专利]一种基于在线状态学习与估计的目标跟踪方法

摘要

本发明提供了一种基于在线状态学习与估计的目标跟踪方法，涉及计算机视觉，计算机图形图像技术领域。首先构建一个目标定位与状态估计网络，该网络由特征提取网络和回归网络两部分组成，特征提取网络为预训练网络AlexNet，回归网络为递归神经网络(RNN网络)。在初始网络训练过程中，使用初始训练集和随机梯度下降法对目标定位与状态估计网络进行训练，训练完成后网络获得了对目标进行定位和状态估计的初始能力。在跟踪过程中，目标定位与状态估计网络对输入图像进行正向处理，网络将直接输出该图像对应的目标相关信息，其中获得的目标概率和状态信息决定网络是否进行在线学习，而目标位置和大小信息实现对目标的定位，从而实现对目标对象的跟踪。

主权项

一种基于在线状态学习与估计的目标跟踪方法，包括如下步骤：步骤一、目标选取：从初始图像中选择并确定要跟踪的目标对象；目标选取过程可以通过运动目标检测方法自动提取，也可以通过人机交互方法手动指定；步骤二、构建目标定位与状态估计网络：目标定位与状态估计网络将图像规则化为一个统一的大小后作为其输入，该网络包括两个部分，前部分为特征提取网络，后部分为回归网络；这里特征提取网络采用可公开获得的预训练网络AlexNet，该网络共有25层，是在包含120万个训练图像的大规模数据集ImageNet上训练获得的深度网络；而回归网络采用递归神经网络RNN对目标进行位置回归和状态估计；这里将目标可能的外观状态划分为自变化状态和干扰状态两大类，自变化状态包含由目标自身的运动引起的外观变化状态，干扰状态包含由背景干扰或者场景变化引起的目标外观变化状态，因此将RNN网络的输出设计为包含目标的概率，位置，大小和状态信息，具体有七个节点，这些节点分别对应目标的概率po，目标的中心点横坐标xo，目标的中心点纵坐标yo，目标的宽度wo，目标的高度ho，目标的自变化状态s1，以及目标的干扰状态s2；步骤三、初始训练集生成与网络训练：初始训练集的生成包括两个部分，一个部分为目前可公开获得的有标注视频数据集或者图像序列集，另一个部分则是根据初始图像来人工合成跟踪序列，具体为两个方面的工作，一方面将初始图像中的目标对象进行变换，包括平移、旋转、扭曲和遮挡等操作，另一方面对整个场景进行循环移动，由此可获得大量模拟的跟踪序列；初始训练集中包括的所有图像均标记其对应的目标概率，位置，大小和状态信息，与目标定位与状态估计网络的各输出节点对应；然后，使用初始训练集对目标定位与状态估计网络进行训练，训练过程中特征提取网络的参数保持不变，只训练回归网络的参数，训练方法采用目前已广泛使用的深度网络训练方法，即随机梯度下降法SGD；训练完成后网络将获得对目标进行定位和状态估计的初始能力；步骤四、图像输入：在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像；如果输入图像为空，则整个流程中止；步骤五、目标定位与状态估计：将输入图像规则化为目标定位与状态估计网络输入端所需的大小，然后输入该网络，网络经过正向处理后将直接输出该图像对应的目标概率，目标的位置，大小和状态，即目标的概率po，目标的中心点横坐标xo，目标的中心点纵坐标yo，目标的宽度wo，目标的高度ho，目标的自变化状态s1，以及目标的干扰状态s2；由此得到目标的位置和大小，完成对目标的定位，跟踪完成；如果网络输出的目标概率>0.8，并且目标的自变化状态>0.8，目标的干扰状态<0.5，则跳转到步骤六，否则跳转到步骤四；步骤六、网络在线学习：将目标的概率po调整为po＝1，将目标的自变化状态s1调整为s1＝1，将目标的干扰状态s2调整为s2＝0，然后用当前图像对目标定位与状态估计网络进行训练，训练方法与步骤三相同，由此网络获得更新，实现网络的在线学习。