[发明专利]用于自动生成多个图像的概要的方法和设备

说明书

本发明涉及提取多个图像(例如视频序列)的内容概要的领域。更具体地，本发明提供一种用于自动生成多个图像的概要、其中保留故事主线或逻辑情节的方法和设备。

摘要已成为在浏览和搜索家庭视频集及已产生的视频档案或照片档案中的一种非常必要的工具，它节省了用户的时间、并提供了极好的控制和概观。在文献中已提供了各种类型的摘要方法：可视的内容表、快速浏览和多媒体概要。另外，已经研究了各种领域，诸如用于新闻、音乐视频和体育的经组织的视频摘要。

用户想要在理解逻辑情节的同时在比原始持续时间更短的时间内观看电影，即要求保留电影的总体故事主线。已提出了用于快进和音频压缩的算法，其允许使观看步速加速多达1.5～2倍。一种可能性是去提高回放速度，然而，快速回放需要来自观众的非常高的注意程度，并可以变成可笑的和不能理解的。

因此，仍旧有一个目标是叙事性(narrative)视频摘要，这包括用于概括诸如电影、文献片和家庭视频那样的视频序列的叙事性内容的方法。对于诸如影片那样的叙事性多媒体内容的概括是一个活跃的研究课题，然而，通常的目的是创建预览，它们并不传达有关原始影片的故事的所有信息。

WO03/090444公开了用于从视频序列中选择视频帧子序列的方法。在视频帧的序列中定义了把两个视频帧互相联系的距离函数，例如，在帧的RGB直方图之间的距离。最佳化准则被定义来表达从视频帧序列中选择的多个视频帧子序列的特征。然后，通过最佳化在所有子序列上定义的最佳化准则函数(例如能量函数)的值而确定视频帧子序列。在WO03/090444中，把帧互相联系的距离函数是基于帧之间的视觉的距离。因此，被选择的帧子序列将是一组关键帧，就可视内容而论它们是最不同的帧，因此在某种意义上是视频序列的代表。然而，由于两个帧仅仅是通过视觉距离而相互联系的，所以被选择的子序列不一定代表反映视频序列的故事主线和真正意义的概要。

因此，一个目的是提供一种摘要方法和系统，其能够提供反映多个图像(例如视频序列)的逻辑情节、并仍旧具有与原始视频序列相同的回放速率的概要序列。

在本发明的第一方面，这个目的和几个其它的目的是通过提供一种用于提供多个图像的概要的方法而达到的，该方法包括：

a)把该多个图像划分成多个分段(segmentation)，每个分段包括至少一个图像，

b)相对于内容来分析每个分段，并关联从所述分段的分析中得出的一组内容描述符，

c)根据内容描述符建立在分段之间的关系，其中在第一和第二分段之间的每个关系具有与其关联的一个或多个权重，所述一个或多个权重代表在第一和第二分段之间的关系(relation)的测度，

d)根据与所述分段的关系相关联的权重为每个分段确定关联性(relevance)的测度，

e)通过根据与分段相关联的关联性参数从该多个分段中选择分段子组而生成概要。

所谓‘多个图像’被理解为一组图像，诸如照片的档案或图像帧的视频序列。所谓‘关系的测度’要被理解为代表在两个分段之间的关系度的测度。例如，‘关系的测度’可以是代表在分段之间的逻辑相关性(correlation)的测度，或者它可以仅仅是分段相对于特定的内容描述符是如何相似的测度。

本发明对于自动生成影片或家庭视频等的概要是特别地、但不排它地有利的。在优选实施例中，有可能自动生成将包括原始输入视频序列的精华的概要，并且由于该概要是由从原始视频序列中选择的分段或场景生成的，所以该概要将具有自然的回放速率，即，不引入强制的、不自然的高速度。

该方法也可以被使用来生成照片的档案-例如假期照片的档案等等的概要，其中希望具有代表照片内容的概要。在照片的情形下，分段可以是单张照片，或是一组照片。

在例如已被划分成分段的视频序列的情形下，例如对于视频序列的每一个场景一章(chapter)，应当理解，步骤a)可以省略。否则，步骤a)可包括时间的分段，例如，基于使用本领域已知的帧差值检测方法对于分段边界的检测。

在步骤c)，通过使用非常有限量的数据来建立多个图像的非常简洁的代表。例如，1.5小时的电影可以通过使用5-10个内容描述符和典型地划分成700-1000个分段而被代表？

优选地，步骤e)包括选择具有最高的关联性测度值的分段。换句话说，相对于该多个图像的剩余分段具有最小关系度的一个或多个分段首先被省略，因此将其从概要中排除出去。由此，有效地保证该概要将是基于具有该多个图像的最大可能的语义内容的分段，因此该概要将在最好的可能的程度上反映该多个图像的核心意义。