[发明专利]一种基于全局运动统计特征的团队体育视频关键帧提取方法

说明书

一种基于全局运动统计特征的团队体育视频关键帧提取方法属于视频分析领域。首先对视频进行预处理，以镜头为单位切分视频并提取比赛镜头将其结构化；然后估计视频帧对应的全局运动，并计算视频帧对应的全局运动统计特征；进一步基于镜头的水平平移量，将镜头视频片段进一步切分为细粒度视频片段；再根据全局运动统计特征来提取候选关键帧，最后结合时空一致性与层次聚类从候选关键帧集合中提取代表性关键帧以去除冗余帧来得到最终的关键帧集合。本发明充分利用了团队体育视频的全局运动信息，提高了关键帧提取性能，减少了冗余光流信息的干扰，有利于提升所提取出的关键帧与比赛中关键事件的相关性。

技术领域

本发明属于视频分析领域。

背景技术

视频在电影，监控，体育，新闻等许多领域无处不在。视频文件的数量巨大，使得分析和理解视频内容的工作量相当繁重。此外，在视频数据库中进行视频浏览会消耗大量时间，因此，可以协助用户进行快速浏览的视频摘要是一个重要且不断发展的研究领域。关键帧提取是视频摘要的一种重要方式，它可以通过一系列视频帧以可视化的方式来表示视频的摘要。

体育视频是一种广播电视视频，如足球、篮球等团队体育项目由于深受人们的喜爱，具有广泛的群众基础，因而对团队体育视频的研究具有广阔的应用前景。准确的关键帧提取可以有助于视频集锦的生成，对比赛内容的快速浏览，比赛技术统计信息的提取等应用场合。

现有的视频关键帧提取方法的总体框架如下：首先检测镜头边界，然后将视频切分为镜头视频片段。之后使用颜色或光流等特征通过帧聚类来提取关键帧。因为位于同一视频中的关键事件对应的视频帧往往都具有较为相似的视觉特征，故这些方法难以有效地提取与比赛事件相关的关键帧。

Vennila等使用了马尔可夫链，转移概率矩阵和其他手段来增强视觉特征的聚类结果，以获得更高置信度的中心聚类。Mendi等则使用混合光流来计算视频帧中的运动矢量，然后根据运动特征时间曲线找出局部极小值，再选择相应的帧作为关键帧。

Vennila等的算法所提取的关键帧在大多数情况下可以准确地描述视频的主要内容，但是对于颜色特征相近的视频帧聚类效果并不理想。Mendi等的算法可以有效地描绘视频的镜头运动并动态提取关键帧，但是该算法易受到一些冗余的局部运动特征影响。

对于体育视频而言，比赛镜头的视频帧往往都具有较为相似的视觉特征，故现有方法难以有效地提取与比赛事件相关的关键帧。而对于原始视频只做基本的镜头切分对于体育视频来说是不够的，因为一个镜头往往会包含多个事件，故需要细粒度的视频切分。此外，针对体育视频的算法所常用的运动特征是从光流中提取的，光流既包括来自摄像机的全局运动，也包含来自队员在场上的局部运动，甚至涉及比赛LOGO或记分板的变化。混合光流是上述来自不同主体的运动光流的混合，其中某些部分与事件无关，并且无法对关键帧的提取提供帮助，冗余的信息反而可能会影响基于光流的算法性能。

发明内容

本发明的目的是提供了一种基于全局运动统计特征的团队体育视频关键帧提取方法。众所周知，团队体育视频中的大多数事件都是进攻与防守转换，这与全局运动转换有着紧密联系。因此，通过使用基于全局运动的细粒度切分，可以使得从细粒度片段中提取的关键帧与关键事件更加相关。故本发明在提取比赛镜头后，基于全局运动的镜头水平平移量进行细粒度的视频切分；再根据全局运动统计特征来提取候选关键帧，最后从候选关键帧集合中提取代表性关键帧以去除冗余帧来得到最终的关键帧集合。此外，构建了一个数据集SportKF，其中包括来自四种团队体育项目(篮球，足球，美式橄榄球和曲棍球)的25个视频，共112分钟，含197,878帧，其中含764个关键帧。

图1是本发明技术方案的主流程图。如图1所示，本发明提出的一种基于全局运动统计特征的团队体育视频关键帧提取方法包括下列步骤：

1、通过一种基于颜色特征的团队体育视频比赛镜头提取方法提取比赛镜头视频片段。

2、提取每个镜头视频片段中视频帧的混合光流并估计全局运动。