[发明专利]一种基于多域协同特征表达的视觉运动目标跟踪方法

说明书

本发明属于视觉运动目标跟踪技术领域，提供了一种基于多域协同特征表达的视觉运动目标跟踪方法。网络结构包含相似特征提取器和独特特征提取器，相似特征提取器可以从RGB域和事件域中学习潜在的通用表示形式，独特特征提取器可以分别学习RGB域和事件域中所独有的特征信息。本发明所提出的方法在RGB和事件目标跟踪数据集上得到了较好的效果，并且不同的数值评价指标上得到了优于目前先进算法的结果。本发明解决了高动态范围下对快速运动目标跟踪困难的问题。

技术领域

本发明属于计算机视觉技术领域，尤其涉及基于深度学习、利用事件相机和传统相机进行视觉运动目标跟踪的方法。

背景技术

视觉运动目标跟踪是计算机视觉中的一个重要的研究课题，它旨在通过给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。深度卷积神经网络(Deep convolutional neural networks,DCNNs)因其显著的学习能力而被广泛应用于视觉目标跟踪。然而，视觉运动目标跟踪是一个极具挑战性的任务，当前基于RGB图像的跟踪算法经常会受到恶劣环境的影响，如低照度、快速运动等。因此，部分工作试图引入有价值的附加信息，例如深度信息或者热红外信息，以对跟踪效果进行提高。然而，当跟踪目标处于高速运动或高动态范围的环境中时，这些传感器仍然不能提供令人满意的结果。

事件相机是一种仿生视觉传感器，其工作原理与传统摄像机完全不同，传统摄像机以固定频率获取帧图像，事件相机则捕捉光度发生改变时的强度信息，以异步流的形式提供强度变化的时空坐标。与传统的成像传感器相比，事件相机有几个优点。首先，具有高时间分辨率(约1μs)，基于事件相机不会受到运动模糊的影响。其次，基于事件相机具有高动态范围(即120-140dB)。因此，即使在曝光过度和曝光不足的情况下，它们也能有效工作。因此事件相机为解决有挑战场景下的视觉目标跟踪提供的潜在的可能性。接下来详细介绍这一领域中相关的背景技术。

(1)单域跟踪

基于RGB的单域跟踪。以深度学习为主的RGB单域跟踪算法可以分为两类，分别是单样本学习和在线学习。通常，在线学习的方法比单样本学习的方法更加准确，但速度较慢。其中，Namet等人提出了多域神经网络(MDNet)，该网络使用卷积神经网络提取通用目标表示，并在线更新全连接层以适应目标对象的变化。在MDNet中，每个域对应一个视频序列。

基于事件的单域跟踪。最初，研究人员仅以固定的时间间隔将事件累积到图像中，以通过减小给定模型与事件之间的差异来实现跟踪任务。Barrancoet等人提出了一种实时聚类算法，并使用卡尔曼滤波器对轨迹进行平滑处理。Timo.S 等人首先从事件中计算出光流，然后使事件的位置变形，并根据对比度原理得到尖锐的事件图像。此外，他们还对每个事件给以权重，以便将事件分类为不同的对象或背景。

尽管以上研究在RGB域或事件域中均取得了良好的性能，但它们忽略了探索这两个域之间存在的互补信息。互补信息可以用来有效地解决视觉运动目标跟踪中的挑战性问题。

(2)多域跟踪

当前基于多域数据进行视觉目标跟踪主要包括RGB-D(RGB+深度)跟踪和 RGB-T(RGB+热红外)跟踪。Songet等人探索光流和3D点云组成的混合 RGB-D跟踪器，从而拓展了RGB-D跟踪课题。Camplaniet等人对深度直方图进行聚类以进行RGB-D跟踪，然后应用单个高斯分布对深度空间中的跟踪对象进行建模。在RGB-T方面，Zhu等人提出了一种递归策略来密集地提取RGB-T 两个域之间的特征信息。Li等人提出了一个卷积神经网络模型，该网络可以在通过端到端的方式学习RGB域和热红外域之间共享的特征信息和特定于模态的特征信息。

然而，深度相机和热红外相机仍然不能提供足够的信息用于解决高动态场景中快速运动目标的跟踪问题。

(3)脉冲神经网络