[发明专利]近邻可逆的视频前景物体序列检测分割方法及系统

说明书

本发明提供一种近邻可逆的视频前景物体序列检测分割方法及系统，其中，方法包括：将视频的每一视频帧划分为超像素块；利用视觉关注属性特征表征每一个超像素块；构建并训练深度神经网络，预测每一个超像素块在空域上的初始前景度值；利用视觉关注属性特征在不同视频帧之间构建近邻可逆矩阵；利用近邻可逆矩阵传播超像素块的初始前景度值，构建迭代优化问题，求解超像素块在时空域上的最终前景度值；将超像素块的最终前景度值进行像素级转化；采用形态学平滑操作对像素的最终前景度值进行优化处理；根据像素的最终前景度值判定所述像素是否属于视频前景物体序列。本发明处理视频无需设置先验假定条件，尤其适用于包含复杂场景的大数据集。

技术领域

本发明涉及计算机视觉和图像视频处理领域，尤其涉及一种近邻可逆的视频前景物体序列检测分割方法及系统。

背景技术

近年来，图像前景物体序列的分割，或称为基于图像的显著对象检测，随着随机森林、多示例学习、栈式自编码器、深度神经网络等技术的结合与应用，在大规模图像数据集上训练出了很多强大的检测模型，取得了令人印象深刻的发展与进步。

视频前景物体序列与图像显著对象存在内在联系，即视频中前景物体序列在大部分视频帧上都是图像显著对象。然而两者也具有根本性不同之处，表现在：首先，视频中所有视频帧上的前景物体序列并不总是图像显著对象，其次，视频中视频帧与视频帧的一致关系为分割前景物体序列与背景提供了额外的线索，最后，由于摄像头和对象的各种动作，前景物体序列可能落在视频的边界处，导致在图像显著检测模型中广泛使用的背景先验不再有效。

分割视频的前景物体序列是众多计算机视觉应用中很重要的一步。然而，针对视频前景物体序列检测分割，仍然存在巨大的挑战。由于缺少大规模的训练视频数据，无法利用机器学习方法训练性能足够强大的时空域检测模型。此外，由于相机和拍摄对象的运动，使得同样的视频前景物体序列在不同视频帧上产生不同的出现方式，或者多个前景物体序列同时出现，或者与干扰背景有遮挡现象，使得很难持续一致地在整个视频中凸显前景物体序列。

为解决视频前景物体序列检测分割存在的问题，当前研究中存在三种模型类型：全自动分割模型、交互分割模型以及语义信息指导分割模型。

交互分割模型需要对视频第一帧或若干关键视频帧手动标注出前景物体序列，随后才能进行自动的分割过程。而语义信息指导分割模型在分割过程进行之前，需要先设定视频前景物体序列的语义类别，因此这类模型可以结合对象检测器等其他工具分割视频前景物体序列。通常，这两类模型都可依靠人工标注或者数据学习得到的先验知识取得不错的性能。但是，所需要的交互工作和语义标签使得他们很难在大规模数据集上推广使用。

全自动分割模型旨在对单个视频直接分割出前景物体序列或者对视频集共分割出前景物体序列。一般地，全自动分割模型需要对视频前景物体序列的空域视觉属性或者时域运动方式提出确定的假设条件。比如，Papazoglou等人在2013年ICCV会议上提出在视频大部分片段中前景对象应该尽可能的和周围背景有不同的运动方式的假设条件，他们首先根据运动信息初始化得到前景概率图，然后在时空域中优化求解以提高前景对象运动的平滑性。又如，Zhang等人在2013年CVPR会议上的论文中提出基于层次化有向非循环图的系统框架分割视频前景物体序列，其假设条件为对象是空域紧致的、而且他们的形状和位置随着时域平滑变动。实际上，类似的假设条件出现在很多全自动分割模型中，并且在若干小数据(SegTrack以及SegTrackV2等数据集)上都有不错的性能，然而，对于Youtube-Objects和VOS等包含复杂场景的大数据集，假设条件可能并不成立，此类模型有时会产生失败负例。而且，很多全自动分割模型需要对视频计算光流，或者需要迭代求解复杂优化问题，使得该模型在分割视频前景物体序列过程中显著地增加计算开销，导致更低的分割速度。

发明内容

本发明提供一种近邻可逆的视频前景物体序列检测分割方法及系统，用于解决现有的视频前景物体序列分割方法无法适用于大规模视频数据集的问题。