[发明专利]一种监控视频关键帧提取方法、系统、介质、设备及终端

说明书

本发明属于多媒体信息处理技术领域，公开了一种监控视频关键帧提取方法、系统、介质、设备及终端，采集原始视频流数据，将原始视频流数据分解成图像帧集合；对分解得到的图像帧集合进行采样，对采样得到的图像帧结果集进行过滤；对过滤后的图像帧集合进行自适应聚类，并收集聚类后的结果组成视频摘要。为了能够更好地利用存储介质的内存空间以及让用户更好地快速浏览原始视频流的大致内容，本发明提供了一种通过采样、过滤以及聚类从而实现原始视频流的关键帧筛选算法。本发明的关键帧提取方法对原始视频数据通过关键帧筛选算法筛掉原始视频流中的相似帧、冗余帧以及模糊帧，形成一段原始视频的视频摘要存储，从而极大的缩小占据的存储空间。

技术领域

本发明属于多媒体信息处理技术领域，尤其涉及一种监控视频关键帧提取方法、系统、介质、设备及终端。

背景技术

常用的视频监控都采用存储原始视频的方式进行保存，这样会导致拍摄的视频占用了大量的磁盘空间并且很长一段时间不会去使用，直接导致存储资源的白白浪费，利用率很低。同时，所拍摄的原始视频流中存在大量的冗余帧、相似帧以及模糊帧，而这些图像帧都是无法被操作员再次使用的，还有一些冗余的相似帧。正是由于缺乏一种针对原始视频的整体关键信息的视频摘要，所以才导致这种问题的衍生，造成存储资源的极大浪费。而视频关键帧提取的目标是从一个视频序列中提取最具有代表性的一些静态图像帧，用于视频摘要、视频检索或者快速浏览等应用。近年来，关键帧提取方法主要包括基于传统图像处理方法的关键帧提取，基于机器学习的关键帧提取方法以及基于深度学习的关键帧提取方法。然而，基于机器学习的方法以及基于深度学习的关键帧提取方法虽然有明显效果，但是处理速度较慢，无法完全适用当前高帧率的监控视频设备；基于传统图像处理方法虽然通俗简单，但是提取关键帧的准确率较低。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有的方法都是将原始视频帧数据全部解压之后再进行筛选，而有些模糊图像帧没有有效信息，解压这些图像帧是没有必要的；

(2)基于深度学习的关键帧提取方法过程较为复杂，处理效率低；

(3)在雾霾天气环境下，现有的方法并不能完全适用；

发明内容

针对现有技术存在的问题，本发明提供了一种监控视频关键帧提取方法、系统、介质、设备及终端，尤其涉及一种基于改进的自适应聚类分析的监控视频关键帧实时提取方法、系统、介质、设备及终端。

本发明是这样实现的，一种监控视频关键帧提取方法，监控视频关键帧提取方法包括：采集原始视频流数据，并将原始视频流数据分解成图像帧集合；对分解得到的图像帧集合进行采样，并对采样得到的图像帧结果集进行过滤；对过滤后的图像帧集合进行自适应聚类，并收集聚类后的结果组成视频摘要。

进一步，监控视频关键帧提取方法还包括：采集原始视频流数据并进行分解处理，得到图像帧集合；基于高斯混合模型的背景差分算法进行图像帧采样，并基于IBP帧进行图像关键帧采样；计算决策分段权重，并依据决策分段权重进行均值采样；利用哈希指纹算法对采样结果进行相似性过滤，并利用自适应聚类算法进行自适应聚类；收集自适应聚类结果组成最终的关键帧集合。

进一步，监控视频关键帧提取方法包括以下步骤：

步骤一，首先对视频从压缩域进行关键区域划分以及抽取，由于I帧是图像信息的主要承载者，可以通过I帧分析得到视频图像帧的DCT系数，DCT系数由直流系数(DC)和交流系数(AC)组成，直流系数是主要的部分，包含了图像帧的大量信息，交流系数包含一些细节信息。假设视频片段中存在有N个I帧，则该视频片段可以表示为两个I帧之间的差异公式如所示：