[发明专利]基于视觉感知能量的监控视频运动片段分割方法

说明书

技术领域

本发明涉及图像处理方法技术领域，尤其涉及一种基于视觉感知能量的监控视频运动片段分割方法。

背景技术

视频的结构化就是对视频数据流在时间轴上进行层次分割，完成从原始的非结构化的视频流到结构化的视频实体的转换。将原始的视频流分割为有意义的、易于管理的视频结构单元，形成视频内容的层次结构，方便视频内容的分析与管理。

视频是非结构化的数据流，其实质是一系列在时间上连续的图像帧。这些图像帧只有相互间的时序关系，而没有任何结构信息。视频分割即按照视频内容或视频中的特定标示从数字视频序列中检测出层次化的结构单元，为不同层次的结构单元建立索引信息，以便于按照具体内容来存储、管理、分析和处理视频数据。视频数据流按照从抽象到具体的顺序可以划分为四个层次的结构单元：视频、场景、镜头和帧，其层次化结构如图1所示。

数据驱动分割是根据镜头切换时视频数据所呈现的特征变化进行视频镜头分割的一种方法。这种视频镜头分割方法的理论依据是：同一镜头内的相邻两帧之间的视频数据特征变化不大，特征差值会分布在某一阈值内；而如果相邻的两帧之间的特征差值超过了设定的阈值，则说明此处是镜头切换点，可以被认为是视频分割的边界。数据驱动分割虽然实现简单，但却忽视了视频中存在的结构变化，如果阈值选取的不恰当，像淡入、淡出这种视频镜头渐变切换过程就会被漏检。模型驱动分割则与数据驱动分割完全不同，它避开了数据驱动分割中的阈值选择问题，而是基于视频编辑模型检测视频镜头边界。视频编辑模型包括：简单色彩编辑模型、复合色彩编辑模型和空间编辑模型。

现有的基于镜头边界检测的视频分割方法通常以视频特征的变化程度作为视频镜头分割的依据。这些视频特征包括颜色、形状、边缘以及运动矢量等等。在像素域处理算法中，视频镜头分割主要利用颜色直方图特征；在压缩域视频分割算法中，一般利用运动矢量特征。这两类算法的处理思路基本一致，都是通过比较相邻视频帧之间的特征差值与设定阈值来确定镜头边界。如果特征差值大于设定阈值，则视当前位置为镜头边界，反之则不是镜头边界。镜头边界检测的准确度取决于特征差值的定义和设定的阈值。在监控视频中，人们更为关注其中的运动片段，而运动片段“零星”的分散在冗长的监控视频中。为此，以运动片段为基本单元对监控视频进行分割具有重要的现实意义。

发明内容

本发明所要解决的技术问题是提供一种基于视觉感知能量的监控视频运动片段分割方法，所述方法提高了监控视频运动片段分割的准确率，需要处理的视频数据量也大大降低。

为解决上述技术问题，本发明所采取的技术方案是：一种基于视觉感知能量的监控视频运动片段分割方法，其特征在于包括如下步骤：

在运动目标移入、移出视觉监视区域的边界处提取监控视频序列的侧面，分析视频侧面上的目标形变并建立VPE曲线；

检测VPE的拐点，对正负能量拐点进行处理；

统计所有的正能量拐点处的VPE以及负能量拐点处的修正后的VPE，绘制累积VPE曲线；

根据累积VPE曲线进行运动片段分割，其中VPE是指视觉感知能量。

进一步的技术方案在于：所述方法还包括将分割后的运动片段进行整合的步骤。

进一步的技术方案在于：运动目标移入视觉监视区域产生正能量，运动目标移出视觉监视区域产生负能量。

进一步的技术方案在于：通过设置视频次边界来判断目标运动方向，该视频次边界位于所述视频边界内，且临近并平行于视频边界，如果运动目标中心先通过视频边界，后通过视频次边界，认为目标是移入视觉监视区域；反之，认为目标是移出视觉监视区域。

进一步的技术方案在于：所述的在运动目标移入、移出的边界提取监控视频序列的侧面的方法如下：

对于由大小为H×W的视频帧组成的长度为L的视频序列，用p_i,j表示视频帧的第i行、第j列的像素值，那么第k帧图像的四个边界Side(A)、Side(B)、Side(C)、Side(D)分别表示如下：

Side(A)：

Side(B)：

Side(C)：

Side(D)：

在视频序列的每一帧的相同边界采样，得到一个像素阵列，将这些来自连续帧的像素阵列沿着时间轴连接起来，就形成了视频的侧面；

相应的，视频序列的四个侧面Profile(A)、Profile(B)、Profile(C)、Profile(D)分别表示如下：

Profile(A)：