[发明专利]一种基于超体素图割的视频显著物体分割方法

说明书

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于超体素图割的视频显著物体分割方法，该方法是基于动静态显著、类物体性以及持续性的视频显著物体分割方法。

背景技术

视频序列中显著物体的分割作为视频处理的基础，在计算机视觉的多个领域有着广泛的应用，如视频摘要，人体行为识别，视频检索，视频中物体识别，视频活动分析等。对视频序列中物体的分割的普遍性难题包括摄像机的运动，背景的运动和变化，以及前景显著物体自身的运动和形变。视频序列中显著物体的分割主要可分为非自动分割和自动分割两大类。

非自动分割：该方法需要用户的参与，用户被要求手动标注出视频首帧或是一些关键帧中的显著物体作为初始化数据，后用使用区域跟踪或是传播的方式得到视频序列每一帧的显著物体分割。该方法的缺点是手动标注繁琐而耗时，故不适于数据量较大的实际应用。

自动分割：该方法有多种实现方式：1)基于背景减除的方法：主要是对背景建模及更新，将帧与背景图像举行差分得到中差异较大的像素区域。这种方法比较不适合背景运动剧烈变化强的情况。2)基于背景减除的方法：主要是对背景建模及更新，将帧与背景图像举行差分得到中差异较大的像素区域。这种方法比较不适合背景运动剧烈变化强的情况。3)基于聚类的方法：如采用运动聚类，轨迹聚类，时空信息聚类等，但此方法不太适合物体自身运动复杂的情况，如有物体自身内部会发生运动的情况。4)基于物体提案的方法，该方法一般先把视频帧分为很多可能包含有物体的聚类，再在这些可能包含物体的聚类上处理分割，此方法的复杂度会比较高。

虽然分割已经是一个研究多年的课题，但由于视频数据的急剧增加，对视频物体自动分割的需求也随之增大。而且视频物体分割不可避免会面对背景运动和变化以及前景物体自身复杂运动和形变的不确定性及困难。因此有必要提供一种适用于普通用户使用的成本低而且便捷并具有准确性和实用性的分割视频显著物体的方法。

发明内容

为了解决现有技术的问题，本发明的目的是提供一种基于“图割(Graph cut)”的视频显著物体分割方法。

为了达成所述目的，本发明利用了物体的外观，运动，类物体性以及持续性信息的信息构造能量方程，减少了运动背景的干扰，并利用图像过分割——超像素和视频时空过分割——超体素来降低算法的复杂度。

根据本发明提出的超体素图割的视频显著物体分割方法，包括步骤：

步骤1，对视频序列中第一帧中的显著物体进行分割，该步骤进一步包括：步骤101，对该帧进行过分割得到超像素；步骤102，通过颜色特征的对比和分布来计算静态显著性图；步骤1033，通过光流的量级的对比和连续来计算动态显著性图；步骤104：融合静态显著图和动态显著图，得到动静态显著图；步骤105：计算第一帧的类物体性，计算出潜在的各个物体的ROI候选区域；步骤106，将动静态显著图和物体ROI进行融合，滤过不必要的ROI区域；步骤107，以ROI区域以及动静态显著性为弱约束，构造能量方程，用迭代的“图割”进行分割得到显著物体的估计；步骤2，对视频序列除第一帧之外的每一帧的显著物体进行分割，该步骤进一步包括：步骤201：将前一帧的估计区域作为先验传播到下一帧；步骤202：对该帧使用步骤101，102，103，105计算得到各种所需的中层特征值；步骤203：计算视频的时空过分割，构造关于外观，运动，类物体性以及持续性的能量方程，用“图割”最小化该能量方程得到显著物体分割。

本发明的有益效果：本发明用基于图像过分割——超像素利用颜色和光流的对比以及连贯性分别得到静态和动态显著图，超像素的使用降低了算法的复杂度，而不仅考虑特征对比也考虑分布的方法也降低了背景中一些与前景颜色相近的物体的干扰。类物体性的计算又进一步增加了分割的依据，提升了准确性。并且基于视频时空过分割——超体素为单位来使用“图割”方法也进一步降低了时空复杂度，加之“图割”本身是线性的复杂度，这样的运用使得算法的计算成本降低，比较实用无需专业的昂贵的设备。与传统的非自动的视频物体分割方法的不同点在于，本发明无需专业人员的手动标注，同时能实现较高质量的视频序列中显著物体分割。

附图说明

图1为本发明基于超体素图割的视频显著物体分割方法的流程图；

图2A为视频帧单帧的原始图像；

图2B为视频帧单帧的过分割，即超像素的示意图；

图3为视频帧的静态显著性的示意图；

图4为视频帧的动态显著性的示意图；

图5为视频帧的类物体性的示意图；

图6为视频帧的像素级类物体性的示意图；