[发明专利]视频关键帧提取方法

说明书

本发明公开了一种视频关键帧提取方法，涉及视频图像处理方法技术领域。所述方法包括如下步骤：提取具有字幕的视频时空字幕；计算提取的时空字幕视觉能量（Spatiotemporal Subtitle Visual Energy,简称）；根据提取的时空字幕视觉能量，生成曲线；检测曲线，并根据曲线提取关键帧。所述方法通过时空字幕建模成视觉能量，最终通过检测曲线上升沿来提取关键帧。实验结果证实所述方法的计算量较小，处理速度较快。

技术领域

本发明涉及视频图像处理方法技术领域，尤其涉及一种视频关键帧提取方法。

背景技术

信息技术日新月异，正在改变着人们生活的方方面面。多媒体视频以其丰富的信息含量，多样的展现方式，便捷的传输、存储形式迅速取代着传统的纸质文本和现实课堂教学，形成了广泛传播的学术讲座视频。学术讲座视频因不受时间、空间限制而蓬勃发展，如网易公开课、超星学术视频、腾讯课堂、MOOC、TED、All Classes等迅速崛起，视频数据量呈现井喷式增长。面对浩瀚如海的学术讲座视频，传统的快进、快退、关键字搜索等方式已无法满足现实需求，如何快速、准确地检索和浏览学术讲座视频已经成为当前亟待解决的难题。

关键帧提取作为一种可行的解决方案受到人们的普遍关注。关键帧是一种高效、精简的视频展现形式，用关键帧表征原始学术讲座视频可以极大的减小数据量，快速地进行检索和浏览。基于内容进行关键帧提取是当前的研究热点，但现有的算法大多在分析视频底层特征，提取结果无法准确、全面的表征视频的真实内容。学术讲座视频通常配有字幕，且字幕大多出现在视频下方，与字幕背景对比鲜明。字幕信息言简意赅，对视频内容有较好的概括作用，目前对视频字幕的提取通常只局限于空域信息，而忽视了时域信息，导致此类视频字幕检测和提取算法计算量很大。

发明内容

本发明所要解决的技术问题是如何提供一种计算量小、处理速度快的视频关键帧提取方法。

为解决上述技术问题，本发明所采取的技术方案是：一种视频关键帧提取方法，其特征在于包括如下步骤：

提取具有字幕的视频的时空字幕；

计算提取的时空字幕视觉能量SSVE；

根据提取的时空字幕视觉能量SSVE，生成SSVE曲线；

检测SSVE曲线，并根据SSVE曲线提取关键帧，所述关键帧是指视频中字幕出现时刻的视频帧。

进一步的技术方案在于，所述的视频时空字幕提取方法如下：

视频时空字幕是通过对视频进行时空采样得到的，对于视频V(x,y,t)，其时空字幕S表示为：

式中：表示视频V中位置x＝j,t＝i,y取字幕高度中值处的像素，满足j∈[1,W],i∈[1,L]，W表示视频帧的宽度，L表示视频的长度。

进一步的技术方案在于，所述视频时空字幕视觉能量的计算方法如下：

视频V(x,y,t)中第i帧的时空字幕视觉能量SSVE由下式计算得到：

式中：

τ用于量度视频时空字幕的像素亮度，亮度值低于τ的像素将被视为干扰而去除掉，表示像素视觉能量。

进一步的技术方案在于，所述SSVE曲线的生成方法如下：

视频时空字幕视觉能量曲线可以公式化为：

SSVE＝SSVE(1)∪SSVE(2)∪…SSVE(i)…∪SSVE(L) (4)

SSVE(i)表示第i帧时空字幕视觉能量。