[发明专利]一种基于色彩量化和聚类的视频关键帧提取方法

说明书

技术领域

本发明涉及一种视频关键帧提取方法，尤其涉及一种能够从不同类型不同分辨率的视频中提取出关键帧序列的基于色彩量化和聚类的视频关键帧提取方法。属于视频关键帧提取领域。 

背景技术

随着多媒体信息在娱乐、商业、生产、医学、安全、国防、军事等领域的大量应用，传统的基于关键词描述的视频检索方案因其手工添加注释工作量大、人工文字标签描述主观性强、效率低下等诸多缺陷，已经不能适应海量视频检索的需求了，如何有效得存储、组织、管理、浏览和检索视频信息成为一个关键问题。基于内容的视频检索为解决这个难题提供了一条可行途径，视频检索和摘要技术是近年来的两大热点，而视频关键帧的提取技术在视频检索研究中占据着核心地位。 

视频关键帧是一段视频中包含重要视频内容的一组离散的帧序列，视频关键帧提取就是依据镜头内容的复杂程度，从镜头中提取一个或多个关键帧，从而用少量的帧来代替镜头的内容，它是视频检索和摘要的基本步骤。 

目前常用的视频关键帧提取方法归纳起来主要有以下四类：基于镜头边界法、基于运动分析法、基于视觉内容法、基于聚类分析法。 

镜头边界法是最直接最简单的关键帧提取方法，一段视频流被分割成若干镜头后，选取每个镜头的首帧、中间帧或者尾帧作为镜头的关键帧。这种方法设计简单，运算量小，适合内容简单或固定场景的镜头。但对于较为复杂的场景，这样提取的镜头代表帧往往并非真正的关键帧，不能精确得代表镜头的信息。同时该方法受前期镜头分割工作的影响很大，分割效果不好，此方法选择 的关键帧更加杂乱。 

运动分析法可以根据镜头的结构选择相应数目的关键帧，一般都是基于光流运算的，通过光流分析来计算镜头中的运动量，在运动量取局部最小值处选取关键帧。但这种方法计算量较大，实时性较差，而且基于光流算法的局部最小值也不一定准确。 

视觉内容法基于每一帧的颜色、纹理等视觉信息的改变来提取关键帧，当这些信息有显著变化时，当前帧即可作为关键帧。此方法可以根据镜头内容的变化程度选择相应数目的关键帧，但选取的帧不一定能放映镜头的内容，而且容易获取过多的关键帧。 

聚类分析法综合考虑镜头内和镜头间的相关性，通过聚类那些在时间、内容上相关度很高的帧图像，将视频序列划分为不同的聚类，然后选取其中最不相关的离散帧作为镜头关键帧。聚类方法计算效率高，能有效获取视频镜头变化显著的视觉内容，但不能有效地保存原镜头内图像帧的图像顺序和动态信息。 

发明内容

本发明的目的就在于为了解决上述问题而提供的一种基于色彩量化和聚类的视频关键帧提取方法，这种视频关键帧提取方法能够从大量的、不同类型的、不同分辨率的视频内容中快速、准确的提取出关键帧序列，同时有效避免冗余并可以控制关键帧的数量。 

为了达到上述目的，本发明采用了以下技术方案： 

本发明所述一种基于色彩量化和聚类的视频关键帧提取方法包括以下流程：加载视频数据流→对视频流进行单帧扫描→对得到的帧图像进行色彩量化，提取量化后的帧图像的主色彩特征→计算相邻帧间相似度，得到相邻帧差→根据相邻帧差进行镜头边界检测→对分割的镜头进行镜头分类，提取每个镜头的 代表帧→对代表帧序列进行压缩聚类，得到关键帧序列。 

所述流程中，对帧图像进行色彩量化，提取帧图像主色彩特征的方法为：设c_i是颜色空间中的一个三维向量，可以是RGB、HSV等颜色空间)，C_input＝{c_i，i＝1，2，...，N}表示单帧扫描后得到的帧图像颜色的集合，其中N表示颜色的数目，C_output＝{c′_j，j＝1，2，...，K}(K＜＜N)表示色彩量化后得到的索引图像的颜色集合，即为单帧图像的主色彩特征。色彩量化是一个映射过程： 

q：C_input→C_output           (式I)

本发明中采用基于八叉树结构的色彩量化算法，遵循距离最近准则：单帧扫描后得到的帧图像中的任一颜色c将被映射到索引图像颜色集合C_output中距离最近的颜色c′，即 

c′＝q(c)：||c-c′||＝min_{j＝1，2，...，k}||c-c′_j||    (式II) 

同时，在颜色集合C_input中得到K个聚类S_k，k＝1，2，...，K