[发明专利]一种前景目标关键帧化的视频摘要生成方法

说明书

本发明公开一种前景目标关键帧化的视频摘要生成方法，属于图像处理领域。它包括对待处理视频流逐帧利用由卷积神经网络训练的目标分类器对图像进行检测得到前景目标；结合跟踪算法跟踪每一帧前景目标，逐步更新得到目标运动轨迹；在视频中剔除前景目标，得到无运动目标的视频背景；对提取的前景目标序列，去除相似元素，形成关键化后前景目标序列；将提取的目标用图像融合算法贴合到背景图像并显示相关信息，将整个视频流浓缩成少量视频帧，形成视频概述。利用深度学习技术进行目标检测并与跟踪算法配合，高效实现前景目标的检测跟踪，降低场景噪声对视频处理的干扰，由独立目标重新渲染视频，压缩时空数据，提高视频浏览速率，运用于各复杂场景。

技术领域

本发明属于图像处理领域，尤其是一种前景目标关键帧化的视频摘要生成方法。

背景技术

监控视频一般采用固定摄像头24小时不间断拍摄的方式进行录制。据报道，海量视频信息，真正发挥作用的可能还不到1％。我国投入巨资建设监控系统所发挥的效益很小。面对这种海量的视频信息，最亟需解决的问题是如何提高浏览效率，以便充分利用视频信息。提高视频事件的获取处理速度，降低人工处理视频效率的疏漏。

视频数据具有表现力强、形象生动等特点，但是其数据量巨大、表现内容不透明、数据无结构等特点使得对视频数据的组织、管理、分析很不方便。在此背景下，视频摘要技术应运而生。该技术利用计算机视觉技术对视频文件的内容进行分析，提取有效信息，生成一个能概括原视频的活动内容，但同时又大大缩短视频长度，压缩了视频的大小。

传统的视频摘要技术，一种方法是从视频提取关键帧，再使用关键帧来生成摘要视频。关键帧是选择出来可以很好代表原始内容的视频帧。另一种方法是从原始视频中选择一些视频段来生成摘要视频。这种方法压缩率比较小，但表现能力更强。Alex Rav-Acha等人在CVPR2006上首次提出了以分析视频帧的元数据为核心的视频摘要技术，该技术将每帧视频的活动信息提取出来，在时空上进行重组。

发明内容

为解决现有技术存在用户不能有效快速浏览监控视频的缺陷，本发明提供一种前景目标关键帧化的视频摘要生成方法。

为实现上述目的，本发明采用下述技术方案：

一种前景目标关键帧化的视频摘要生成方法，它包括如下步骤：

步骤1，采集训练样本，构建数据集，训练神经网络模型；

步骤2，对输入视频逐帧进行目标检测，提取检测目标对应的图像区域；

步骤3，为获取到的检测目标分配跟踪器，进行检测目标的连续跟踪并存储运动轨迹；

步骤4，利用提取到的前景目标和给定背景进行视频背景建模；

步骤5，对各前景目标序列提取关键帧，对所有运动目标的轨迹进行时空压缩，生成较少帧数的摘要图像序列；

步骤6，通过图像融合技术将检测目标的运动轨迹贴合到背景图像上。

进一步地，步骤1中数据集包含常规目标类图像(不包括场景类图像与语义场景类图像，以交通道路为例，则采集以车辆、行人为主的图像数据集，准确地说，数据集应选择具有特征代表性的运动目标，而对于手套、茶杯灯大多静止的物体不作训练)，常规目标类图像包括不同拍摄角度、不同光照变化和天气情况下的独立图像，该图像经分类后，选取训练样本，对目标网络进行离线训练(根据训练结果调整目标网络参数，直至达到一个可观的识别率)。

进一步地，步骤2中目标检测是先将视频逐帧输入基于深度神经网络的目标检测算法，根据步骤一离线训练所得特征，再由输入的视频图像进行在线检测；

在进行步骤2中目标检测之前还包括对图像尺寸的处理步骤(例如将所载入的视频帧放缩至较低分辨率)；