[发明专利]视频序列描述符和使用该描述符的影像检索系统

说明书

发明领域

本发明涉及一种描述符，用于从编制视频索引的角度表示一个视频场景里任意帧序列中摄影机或任意种类的观察器或者观察装置的运动，所述运动是以下基本操作中的至少一种或者几种：固定不动、左右摆动(水平转动)、跟踪(水平横向运动，在电影语言里也叫做行进(travelling))、俯仰(垂直转动)、升降(booming)(垂直横向运动)、推拉镜头(改变焦距)、前后移动(沿着光轴平移)和滚动(绕光轴转动)，或者这些操作中至少两种的任意组合。本发明可以广泛地用于由未来的MPEG-7标准瞄准的应用。

发明背景

影像和视频信息的存档在几个应用领域中，比方说在电视、道路交通、遥感、气象学、医学图像等等领域中，都是非常重要的任务。然而，识别跟给定查询有关的信息，或者高效地浏览大量视频文件，仍然是非常困难的。最经常地用于数据库的方法包括为储存的每一个视频分配关键词，在这些词的基础之上进行检索。

MPEG已经制定了三个标准：用于储存视听序列的MPEG-1，用于视听序列广播的MPEG-2和用于基于对象的交互式多媒体应用的MPEG-4。未来的标准，MPEG-7，将通过规定一个标准的描述符集合为视听信息检索提供一种解决方案，这个描述符集合能够用于描述各种类型的多媒体信息。MPEG-7还要为描述符和它们之间的相互关系，将定义其它描述符和结构(描述方案，也就是表示场景中包含的信息的方法)的方式标准化。这种描述将会跟内容本身相关，从而能够快速高效地搜索用户感兴趣的材料(静止画面、图形、3D模型、音频、语音、视频……)。

发明简述

本发明的目的是提出一种解决方案，用于表示视频场景中任意帧序列内摄影机(或者任意种类的观察器或者观察装置)的运动。

为了这一目的，本发明涉及到了一种描述符，就象在本说明的引言部分所说明的一样，它的特征在于每一种运动类型，除了固定不动以外，进一步地划分为两个分量，这两个分量代表两个不同的方向，并且，通过直方图的方式来表示，直方图中的值对应于预先定义的位移大小。

虽然效率还依赖于数据库系统所采用的搜索方法，但是这一描述符的效率仍然是不容置疑的，因为每一个运动分量(所有可能的运动参数以及有关的速度，这些运动速度的精度最好是每帧半个像素，这样对于所有可能的应用看起来都足够了)都是独立而且精确地描述的。它的简单易懂使得大量可能的查询能够实现参数化。该描述符的应用范围非常广，因为摄影机的运动是所有基于视频内容的应用的一个关键特征(查询-检索系统，还有视频监视、视频编辑……)。此外，虽然这里提出的描述符并不是真正地针对用数据量来描述的可量测性的，但是，这种描述符提供了用于分等级方案内，从而允许在大范围的时间尺度内表示摄影机运动状态的可能性。

附图简述

下面将通过实例参考附图来介绍本发明，在这些附图中：

图1～3说明基本的摄影机操作；

图4给出了完整摄影机运动分析系统的一个总图，该系统用于实现摄影机特征瞬间估计的一种估计方法；

图5是一个透视投影图，说明随摄影机和演出移动的摄影机外部坐标系统OXYZ，并说明了对于焦距f，对应于三维场景中点P的视网膜坐标(x，y)和不同的摄影机运动参数；

图6说明了摄影机模型中的推拉镜头模型；

图7给出了用于图4的一种过滤技术；

图8说明应用本发明的描述符进行分类的基础上的一种影像检索系统。

发明详述

从编制视频索引的角度来看，摄影机的操作非常重要。由于物体运动和整体运动是使静止图像和视频之间存在差别的关键特征，因此，基于视频内容的所有索引编制系统都应当包括一种方法，用来有效而广义地表示运动。在以各种程度涉及摄影机运动的情况中，很清楚，摄影机是静止不动的那部分视频和摄影机在行进或者左右摆动的那部分视频在时空内容上是不同的。跟所有其它鉴别特征一样，如果通过考虑进摄影机的运动可能是一个问题的任意类型的视频和任意类型的应用这样做是可能的，在未来的MPEG-7框架中就必须对这一整体运动进行描述和表示。在视频文档中，增加整体运动的一项描述，会让用户，不管是非专家还是专业人员，能够考虑进摄影机的运动状态进行查询。这些查询，跟其它特征描述一起，应当能够根据跟摄影机运动直接或者语义上相关的信息允许检索视频镜头。