[发明专利]一种基于事件最优重组的保时序摘要视频生成方法与系统

说明书

技术领域

本发明属于视频处理技术领域，更具体地，涉及一种基于事件最优重组的保时序摘要视频生成方法与系统。 

背景技术

随着数字视频技术的快速发展，对视频分析和处理的要求不断提高。从海量监控视频数据中查找某个时间段发生的事情是十分耗时耗力的。如何快速获取大容量视频的内容，帮助用户迅速浏览视频数据，成为视频监控行业的迫切需求。 

作为基于内容的视频分析的一种主要应用，近年来有大量的研究集中在视频摘要生成算法上。视频摘要，就是以自动或半自动的方式，通过对视频的结构和内容进行分析，从原始视频中提取出有意义的部分，将它们以某种方式进行组合而成的紧凑的、能够充分表达视频语义内容的视频浓缩。它是对视频内容的简单概括，观众可以通过观看摘要快速而准确地获取视频内容。 

根据表现形式的不一样，视频摘要可分为静态视频摘要和动态视频摘要两类。静态视频摘要，是从视频流中抽取或生成的有代表性的图像，即通过一系列关键帧组成相应的语义单元，概括表现视频镜头的内容。基于关键帧的视频摘要的最小单位是“帧”，存储空间较小且方便传输，但并不能完整表示每个目标完整行为运动轨迹，不利于视频目标检索。 

动态视频摘要也称为缩略视频，它本身也是一段视频，但比原视频要短得多。相比关键帧序列，它由原始视频中提取的运动信息组成。显然运动视频比静止的图像帧更有意义，从语义方面增加了对原始视频的表达力。 基于对象的动态视频摘要生成是目前视频监控中最为常见的动态视频摘要生成方法。它可以大大缩短视频长度，方便用于对视频的观看、分析和检索，最大限度的减少时间-空间冗余，且为视频检索等上层开发提供对象结构，能在监控安防中快速响应紧急时间，定位到事件相关“对象”。 

目前的动态视频摘要系统一般采用基于能量函数的方法来生成摘要视频，能量函数计算复杂且耗时长。通常这种方法得到的摘要视频中不能完全包含原始视频中发生的所有运动的目标，而且运动目标在摘要视频中出现的次序是混乱的。除此以外，这样的摘要视频中目标的疏密程度不一，可能有时很密集有时很稀疏，这样就会照成在摘要视频中目标之间会出现不同程度的重叠影响目标的查找等，也会造成摘要视频的压缩比并不是最优的情况。由于摘要视频主要的目的是给视频监控人员或者警方办案人员提供目标搜索的方便，所以摘要视频中的目标最好能够包含原始视频中的所有的运动目标，并且能够保持这些运动目标的发生次序，做到最大的压缩比最小的目标重叠，这样有利于监控人员的搜索。 

发明内容

本发明的目的在于提出一种基于事件最优重组的保时序摘要视频生成方法和系统。该方法能够避免现行的动态视频摘要生成方法中不能完全包含原始视频中的所有事件，目标轨迹组合最优解求解困难且耗时过长，摘要视频中目标的时序混乱等问题。 

为了实现上述目的，按照本发明的一个方面，提供了一种基于事件最优重组的保时序摘要视频生成方法，包括： 

步骤1，对原始视频序列进行运动目标的检测和跟踪，得到原始视频序列中的所有运动目标，和所有运动目标的运动轨迹以及在视频中的出现时间和结束时间，将原始视频序列中的每一个目标在视频中开始到结束的运动当作是一个事件； 

步骤2，对原始视频序列中的所有事件进行事件重组得到摘要视频，所 述重组后的摘要视频中各事件与原原始视频序列中各事件的时序关系一致，即如果事件e_i在原始视频序列中的发生时刻要早于事件e_j，那么事件e_i在摘要视频中的发生时刻M[e_i]要先于事件e_j在摘要视频中的发生时刻M[e_j]；且满足：摘要视频中每一时刻发生的事件的数目小于最大疏密程度阈值，且在同一时刻发生的事件中各目标的活动区域的重叠率小于设定重叠阈值。 

在本发明的一个实施例中，所述步骤2中对原始视频序列中的所有事件进行事件重组得到摘要视频，具体包括： 

步骤2.1，取出原始视频序列中的第一个事件，将该事件作为摘要视频中第一个发生的事件； 

步骤2.2，取出原始视频序列中的下一个事件；