[发明专利]一种融合上下文的树形视频语义索引建立方法

说明书

技术领域

本发明属于视频检索技术领域，是一种能够利用视频的镜头语义、场景语义以及语义间的上下文构建视频语义索引的方法。

背景技术

如今视频数据已然成为互联网上最重要的数据之一。然而随着视频数据爆炸性的增长，如何高效地管理、检索视频成为了一个很困难的问题。通常用户在检索视频时都是输入一个关键字，然后由视频搜索引擎根据关键字需找到相关的视频数据。这就要求对视频建立合适的语义索引才能提高用户检索视频的效率与命中率。基于视频语义的视频索引构建是通过计算机自动地分析视频的视觉特征以获取视频蕴含的语义信息，然后将语义信息作为视频的索引，用户在检索视频时可以通过输入关键字检索视频。

然而用户对视频搜索引擎的要求不断提高，用户往往根据需求的不同输入不同粒度的关键字，例如用户搜索足球相关内容的视频时可能会输入“足球”、“精彩片段”、“射门”、“裁判特写”等不同粒度的关键词进行检索。所以传统的单一粒度的、无层次的视频语义索引已经满足不了用户的检索需求。此外，视频的语义内容丰富，除了语义信息之外还存在着大量的上下文信息，利用上下文信息能够帮助搜索引擎理解不同粒度语义之间的相互作用，为视频中不同粒度的语义之间建立关系，从而在检索视频时能够根据这些关系信息搜索相关的视频。上下文信息能够在保证搜索命中率的前提下，缩小搜索空间、提高搜索效率。基于此，本发明实现了一种能够融合上下文的视频语义索引，以提高视频索引的有效性。

发明内容

本发明的目的是实现一种能够融合上下文信息建立树形视频语义索引的方法。该方法能够将上下文信息融入视频语义索引中，提高视频检索命中率与效率。

本发明采用以下方案实现：一种融合上下文的树形视频语义索引建立方法，其特征在于该方法包括以下步骤：

步骤1：输入n个训练视频片段video_j，j∈{1,...,n}，对video_j进行预处理，然后以镜头为单位人工标注video_j各个镜头的镜头语义集,并为每类镜头语义构造镜头语义训练集以训练分类器，得到镜头语义分析器。输入m个待建立树形索引的视频片段video_k，k∈{1,...,m}，对video_k进行预处理，利用镜头语义分析器提取video_k各个镜头的镜头语义集；

步骤2：以视频片段为单位，人工标注video_j中镜头语义之间的上下文，用带有上下文标签的上下文标签树LT_j表示，并构建上下文训练集。训练结构化支持向量SVM-Struct，得到上下文标签树分析器。利用上下文分析器提取video_k中的上下文标签树LT_k；

步骤3：以video_j的场景为单位人工标注场景语义，构建场景语义训练集。训练C4.5分类器，得到场景语义分析器。利用场景语义分析器提取video_k中各个场景的场景语义；

步骤4：将步骤2中得到的video_k各镜头的镜头语义集与步骤4得到的video_k各场景的场景语义嵌入到步骤3中得到的LT_k对应的节点中，将带有镜头语义和场景语义的LT_k的作为video_k的视频索引。

进一步地，所述步骤1中按如下步骤进行：

步骤2.1：对n个训练视频片段video_j进行镜头分割，得到r个训练视频镜头；提取并量化镜头的视觉特征，构造成视觉特征向量v；

步骤2.2：设置标注语义集Semantic＝{Sem_t|t＝1,...,e}，人工标注r个镜头中出现的语义Sem_t，加入到各个镜头的镜头语义集中，然后为每一类镜头语义Sem_t构造镜头语义训练集,得到e个镜头语义训练集Tra_t＝{(v_i,s_i)|i＝1,...,r}，如果语义Sem_t出现在该镜头中，则s_i＝1，否则为0；