[发明专利]一种支持循环神经网络对抗学习的目标跟踪方法

说明书

一种支持循环神经网络对抗学习的目标跟踪方法，包括以下步骤：步骤1，构建目标跟踪生成对抗网络OTGAN模型；步骤2，预训练生成器，使其具有初步预测视频帧跟踪结果的能力；步骤3，预训练判别器，使其具有初步判别视频中运动目标运动轨迹真假的能力；步骤4，对抗训练目标跟踪生成对抗网络OTGAN。本发明将生成对抗网络和长短期记忆网络LSTM融合，形成了基于对抗训练的目标跟踪循环神经网络，将视频帧全局特征向量作为生成对抗网络的输入之一，而不是传统中将随机变量作为输入，从而学习到视频帧中目标信息，并学习从历史及当前视频帧信息到目标位置的映射关系，提升整体跟踪准确率；同时利用目标运动轨迹进行监督训练，能够极大地提升目标跟踪的准确率。

技术领域

本发明涉及一种支持循环神经网络对抗学习的目标跟踪方法，属于计算机视觉领域。

背景技术

目标跟踪是计算机视觉领域的重点和难点课题，一直以来都受到广泛关注，在无人机、智能交通、精确制导、机器人、人机交互等军用和民用领域都有着重要作用。目标跟踪的研究已有几十年的时间，目前也取得了不少成果。然而,尽管很多跟踪算法已经被提出，但是由于跟踪过程的复杂多变，同时实现实时、鲁棒跟踪仍然是一个巨大挑战。

基于深度学习的目标跟踪的研究在近几年发展迅速，同时考虑到利用视频序列之间的时间相关性，循环神经网络(Recurrent Neural Network)得到广泛关注。长短期记忆网络LSTM是一种RNN特殊的类型，可以学习长期依赖的信息。2017年，Ning G等人（Zhang Z,Huang C，“Spatially supervised recurrent convolutional neural networks forvisual object tracking”，IEEE International Symposium on Circuits and Systems.IEEE, 2017:1-4.）训练基于检测的循环神经网络应用于目标跟踪，但是基于检测的跟踪只能跟踪检测算法YOLO数据集中包含的20类目标，如猫、车等。Gordon D等人(Gordon ,A.Farhadi ,and D .Fox ,“Re3 : Real-Time Recurrent Regression Networks forObject Tracking ”,2017, PP(99):1-1 .)提出一种实时的循环回归网络(Re3)，离线训练了一个用于回归的长短时记忆网络，但离线训练所用视频包含的目标千差万别，这种方法很难学习到一个通用的模型来描述所有目标形态和动作的变化。

发明内容

本发明的目的在于：提供一种支持循环神经网络对抗学习的目标跟踪方法，利用LSTM对高级视觉特征解释、回归能力，将深度神经网络分析延展到时空域，并利用生成对抗网络进行训练，提高了目标跟踪的实时性和鲁棒性。

一种支持循环神经网络对抗学习的目标跟踪方法，该方法包括以下步骤：

步骤1，构建目标跟踪生成对抗网络OTGAN模型；

步骤2，预训练生成器，使其具有初步预测视频帧跟踪结果的能力；

步骤3，预训练判别器，使其具有初步判别视频中运动目标运动轨迹真假的能力；

步骤4，对抗训练目标跟踪生成对抗网络OTGAN。

进一步地，所述步骤1中目标跟踪生成对抗网络OTGAN模型包括生成器和判别器，所述生成器用于生成视频帧跟踪结果，所述判别器用于判别输入是真实运动轨迹还是由生成器生成的跟踪结果构成的运动轨迹。