[发明专利]基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器

说明书

本发明涉及一种基于代表性和特异性得分的非监督监控视频摘要生成方法及生成器。具体包括：针对监控视频，每隔一定的时间抽取帧，并使用卷积神经网络提取得到视频帧组的视觉特征组；使用图像直方图找到视频帧组断点以设置聚群数量，对视频帧组进行分类；利用聚类得到的视频帧组聚群，分聚群进行备选帧的筛选；计算每个聚群的所有备选帧的代表性得分；计算每个聚群的特异性得分；根据特异性得分高低舍弃一部分聚群，剩余聚群中按群分别将备选帧由高到低选择一部分备选帧做为选定帧，并按其在原始视频的时序进行排列生成视频摘要。

技术领域

本发明涉及视频技术领域，特别涉及一种基于代表性和特异性得分的非 监督监控视频摘要生成方法。

背景技术

监控视频，通常摄像机固定、背景不变、某些时段内容长时间不变，某 些时段内容变化频繁。对其进行摘要是一种在保留相对完整的、有变化内容的前 提下，创建短片快速了解视频内容浏览的技术。基于短片生成的视频摘要任务一 般分为片段分割、帧权重评估和片段选择几项基本环节组成。由于对视觉兴趣点、 紧凑性(即冗余度较小)、以及内容全面多样性的不同要求，不同的观众在不同的 时间会产生不同的视频摘要标准及结果。但无论何种摘要生成标准，考虑视频所 有帧之间的语义关系以及它们是如何相互关联的，才是生成满意摘要结果的关 键。

近年来受深度学习巨大成功的启发，目前的方法通常将视频摘要用 RNN/LSTM/GRU等网络模型来解决帧序列评分问题。该类模型能够长期捕获帧间 的依赖关系，但由于其模型需要大量数据进行监督学习，建立时序依赖关系，计 算复杂度及模型迁移性不佳。对于成千上万内容复杂，数据分布广泛的数据，也 难以较好把握视频全局语义信息。

发明内容

本发明解决的技术问题是：提供一种用于生成监控视频摘要的方法，使 得模型无需使用大量数据进行监督学习，并从全局范围学习视频的视觉特征，加 之以时序相关的得分影响从而获得最终的视频摘要。

根据本发明的所述，提供一种用于生成监控视频摘要的方法，包括：筛 选部分视频帧进行摘要生成，剔除冗余；使用卷积神经网络提取筛选后视频帧的 特征；使用聚类方法将视频帧分为不同聚群；根据代表性和特异性得分选择较为 优秀的视频帧作为视频摘要。

在发明中，计算视频帧的代表性得分步骤包括：以靠近聚群中心的视频 帧为起点，通过找到这些帧在原视频时间轴的位置，以其被卷积神经网络提取后 的特征向量为输入，比较其与相邻帧的平均相似度，作为代表性得分。

在发明中，计算聚群的特异性得分步骤包括：将聚心所在帧特征向量与 其他聚心所在帧特征计算不相似度平均值，作为聚群特异性得分。

在发明中，最终的视频摘要将选择特异性得分靠前的聚群中代表性得分 较高的帧作为最终的视频摘要，这些视频帧将按照视频原本的时序进行排列。

有益效果

在上述方法中，聚类方法配合卷积神经网络的视觉特征提取为视频摘要 的生成考虑的足够的空间性，而在选择视频帧时又通过回归视频时间轴的方式考 虑了一定的时间性。同时由于使用非监督方式，本发明所应用的监控视频无任何 特殊要求。

通过以下参照附图对本公开的发明的详细描述，本公开的其它特征及其 优点将会变得清楚。

附图说明

图1是本发明的用于生成视频摘要的方法的流程图；

图2是本发明的计算视频帧的代表性得分的方法的流程图；

图3是本发明的计算聚群的特异性得分的方法的流程图；

图4是基于代表性和特异性得分的非监督监控视频摘要生成器的系统框 图；

具体实施方式

现在将参照附图来详细描述本公开发明。应注意到：除非另外具体说明， 否则在下述中的数字表达式和数值不限制本公开的范围。