[发明专利]融合目标检测与跟踪的视频半自动目标标注方法

说明书

本发明公开融合目标检测与跟踪的视频半自动目标标注方法，首先在视频图像中选定某一帧为初始帧，手动标记目标的初始位置，确定目标的类别标签。在后续帧中，融合基于图像的目标检测算法和基于图像序列的视频目标跟踪算法估计目标在图像中的位置；本发明根据目标跟踪算法判断目标标注是否结束。若结束，根据每一帧目标的显著值大小，提取视频关键帧，得到目标标注结果，否则继续估计目标在视频图像中的位置；本发明基于目标显著性提取视频关键帧的方法，使关键帧能反映目标变化的多样性。本发明采用多镜头多舰船的视频进行实验测试，验证了本发明提出方法的有效性。

技术领域

本发明属于视频数据标记领域，涉及一种融合目标检测与目标跟踪，并根据目标显著性进行视频关键帧提取的视频目标标注方法。

背景技术

近年来，深度学习技术发展迅速，推动目标检测与目标跟踪领域不断实现新突破。由于深度学习技术需要大数据的支撑，获取大量具有样本多样性的带准确标签训练数据是深度学习技术取得优异性能的关键。

目前获取训练数据主要有手工标注和自动标注两种方法。手工标注采用手动方式对单一图像中的目标位置和标签进行标注，而视频中有大量连续的图像帧，手工标注的效率低，鉴于视频中目标具有时空连续性的特点，使得自动标注成为可能。目前现有技术中仅使用基于相关滤波的目标跟踪算法进行视频目标标注，标注结果的准确度达不到作为训练数据的要求。而仅使用目标检测算法进行视频目标标注，检测器会根据初始帧目标的类型，在后续帧中把符合目标类型的目标全部标出，不能判断是否和初始帧是同一个目标，或者检测器会因为目标的抖动模糊等因素，出现漏检导致视频目标标注不连贯。本发明融合检测和跟踪算法，结合两种算法优势，可以提高自动标注的准确度，利用跟踪算法的时空连续性可以确定同一个目标，并解决检测器漏检问题，还可以自动判断目标消失，提高标注效率。

本发明提出一种视频半自动标注方法，首先在初始帧中手动标注目标位置，然后在后续帧中自动标注出该目标的位置，最后自动提取若干个关键帧得到标注结果。其中需要解决的主要问题包括：(1)如何提高视频目标标注的准确度和连贯性，是需要解决的第一个问题。(2)为了减少人工参与，提高标注效率，需要自动判断目标消失和标注结束。(3)提取的若干关键帧要能够反映出目标尺度大小、角度、光照等变化的多样性。

本发明针对目前单独的目标检测算法或者目标跟踪算法不能满足视频目标自动标注要求的情况，通过合理的规则融合目标检测和目标跟踪，极大提高视频目标标注的效率和准确度；另外提出一种基于目标显著性提取视频关键帧的方法，从而使提取的关键帧能准确反映目标变化的多样性。

发明内容

本发明针对所要解决的技术问题是现有自动标记手段精准度与连贯性不高或手动标记速度慢，提出一种融合目标检测与跟踪的视频半自动目标标注方法。

首先在视频图像中选定某一帧为初始帧，手动标记目标的初始位置，确定目标的类别标签。在后续帧中，融合基于图像的目标检测算法和基于图像序列的视频目标跟踪算法估计目标在图像中的位置，并根据目标跟踪算法判断目标标注是否结束。若结束，根据每一帧目标的显著值大小，提取视频关键帧，得到目标标注结果，否则继续估计目标在视频图像中的位置。本发明融合目标检测算法和目标跟踪算法对视频目标准确标注，自动判断目标标注结束，并根据目标显著性提取视频关键帧，得到目标标注结果。

本发明采用的技术方案包括以下步骤：

1、融合目标检测与跟踪的视频半自动目标标注方法，其特征在于该方法包括以下步骤：

步骤(1)、在视频的某个镜头中选定某一帧为初始帧，手动标记目标的初始位置和大小，确定目标的类别标签；

步骤(2)、初始帧之后的其他后续帧采用自动标注，具体是融合基于图像的目标检测算法和基于图像序列的视频目标跟踪算法估计目标在图像中的位置；具体是：

2.1采用YOLO V3对每一帧图像中目标进行检测并标识出检测框；