[发明专利]基于边框标注的弱监督视频目标分割方法及装置

说明书

本发明公开了一种基于边框标注的弱监督视频目标分割方法及装置，方法包括下述步骤：在图像分割数据集上训练基于PReMVOS模型的伪标注生成模型；使用伪标注生成模型对视频数据和边框标注逐帧生成对应的伪掩模标注；利用生成的伪掩模标注，使用“合作教学”算法训练视频目标分割模型。本方法使用低代价的边框标注训练视频目标分割模型，从而降低视频目标分割模型迁移到实际应用场景时对新数据进行标注的代价，降低视频目标分割模型的落地难度；通过使用“合作教学”的训练算法，可以更充分地利用现有的大量视频目标跟踪数据集来训练视频目标分割模型，增强视频目标分割模型的性能和泛化能力。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于边框标注的弱监督视频目标分割方法及装置。

背景技术

视频目标分割即在一个给定的视频中，将某些特定的或人类关注的目标物体在每一帧中分割出来。视频目标分割作为计算机视觉领域的一项基础任务，对视频理解与分析有着重要的意义。在具体应用方面，视频目标分割对于视频编辑、人机交互、自动驾驶等实际应用都有着重要的意义。

已有的相关先进算法与技术主要都基于深度学习技术，随着DAVIS、Youtube-VOS等带有精细标注的大规模数据集的推出，现有的带标注数据基本可以支撑起深度学习模型的训练，一些现有方法已经能够达到相当优秀的效果。现有的视频目标分割算法主要有基于匹配的算法，基于可能对象的算法，基于掩膜传播的算法，基于目标跟踪的算法等，但这些算法中模型训练都十分依赖现有数据集中的大规模高质量标注数据。现有视频目标分割技术在训练阶段需要的是逐帧的像素级别的精细掩膜标注，数据集的标注代价非常大，这限制了数据集的规模，也导致将现有方法迁移到具体应用场景时的标注代价难以接受。而目前能达到较好性能的方法都十分依赖于大量的高质量精细标注数据，也就是说这些方法大多是数据驱动型的，数据集规模的大小从一定程度上来讲限制了这些数据驱动型的深度学习算法的发展。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于边框标注的弱监督视频目标分割方法及装置，本方法使用低代价的边框标注训练视频目标分割模型，从而降低视频目标分割模型迁移到实际应用场景时对新数据进行标注的代价，降低视频目标分割模型的落地难度；通过使用“合作教学”的训练算法，可以更充分地利用现有的大量视频目标跟踪数据集来训练视频目标分割模型，增强视频目标分割模型的性能和泛化能力。

为了达到上述目的，本发明采用以下技术方案：

本发明一方面提供了一种基于边框标注的弱监督视频目标分割方法，包括下述步骤：

在图像分割数据集上训练基于PReMVOS模型的伪标注生成模型，所述伪标注生成模型的输入为原始视频及对应的边框标注，输出为伪掩模标注；

使用伪标注生成模型对视频数据和边框标注逐帧生成对应的伪掩模标注；

利用生成的伪掩模标注，使用“合作教学”算法训练视频目标分割模型，利用训练好的视频目标分割模型对视频数据进行目标分割，得到目标分割结果；所述“合作教学”算法是将两个结构相同参数不同的网络在训练阶段的每次迭代中，分别为对方筛选出较干净的数据以供对方训练，缓解噪声标注的影响。

作为优选的技术方案，所述在图像分割数据集上训练基于PReMVOS模型的伪标注生成模型，是指使用PReMVOS模型中的优化refinement模块设计伪标注生成模型，并在图像分割数据集Mapillary数据集上训练，具体为：

伪标注生成模型的输入为原始图像及对应的边框标注，将原始图像和边框标注对应的二值图进行串接得到一个四通道的原始输入；在Mapillary数据集上，所述边框标注根据数据集中原有的精细掩模标注推断得到，即对每个掩模标注取刚好能完全包含该掩模的边框作为对应边框标注；所述二值图边框内的像素值为1，其余为0；

对标注的边框进行适当放大，得到一个裁剪区域，根据裁剪区域对原始输入进行裁剪得到裁剪后图像；