[发明专利]一种基于内容的视频检索方法

说明书

技术领域

本发明涉及基于内容的视频检索(CBR)领域。包括视频特征数据的组织、存储，高维特征向量的索引与检索，分布式检索等领域的技术。

背景技术

一个信息检索系统通常包括一个核心的检索数据库，一个搜索调度服务器和服务器组。对外则提供搜索和信息录入的接口。如图1所示。

其中，信息录入大多是依靠人工键入的方式。即由系统中检索内容的提供方把提供给用户的、用于搜索的内容信息通过检索系统的信息录入接口录入到数据库中。

核心数据库系统则主要负责存储供用户检索之用的信息数据。

搜索调度服务器负责接收、解析用户的请求，将其搜索请求分配给检索服务器，以执行实际检索。在检索结果返回到搜索调度服务器后，搜索调度服务器要对返回结果进行处理，如排序、合并、筛选等。处理之后将其返回给用户。完成一次搜索。

与普通的信息检索系统不同，视频搜索系统较为复杂，包含的模块也相对较多。

一个视频搜索系统由视频特征分析、特征数据存储、搜索调度和基于内容的视频检索等几大模块组成。其中，特征数据的存储、搜索调度和视频检索是此类搜索引擎的核心模块。

传统的视频检索系统要通过人工注释得到视频节目的有关信息，并将这些信息存放在数据库中供此后的查询之用。也就是说，视频分析模块实际是一个由人手工完成的工作模块。

这种方式带有很大的局限性。人工的注释不但耗费大量的人力和时间，而且往往带有很大的主观性，不能对视频节目内容作出准确、公正的刻画。特别是对视频节目的颜色、纹理等物理特征更是无法准确描述。即使是语音、字幕这一类不受制于主观因素的特征，也往往因为其数据量庞大而使人工处理变得不可行。

为此，人们将图像分析、语音分析和字幕分析技术用于视频节目处理，以计算机为主要工具，自动化的得到与视频节目内容相关的特征信息，为基于内容的搜索提供了支持。

在这样的系统中，要对一段视频节目的各方面特征进行分析处理。

在图像方面，要对视频节目进行场景和镜头的划分并提取出具有代表性的关键帧，进而对关键帧进行图像处理，将其颜色、纹理、形状以数学的形式，如向量，进行表示。

进一步的，还要从视频关键帧的低级特征，也就是前述的特征数据中提取出高层语义信息，如关键帧内出现的人脸、物体的运动趋势等，并将它们也表示成文本或数学的形式。

在音频方面，要用计算机对视频节目中出现的人的语音、背景音乐等进行处理，将其转换成字符串或具有一定含义的数学形式。

例如，对于视频节目中出现的人的语音，可以使用语音识别的方法，将语音转换成拼音图或词图的形式。

对于视频节目中出现的音乐，也可以通过对其波形特征的分析，得到音乐的旋律、音调特征，或音调的高低变化特征等。

在字幕方面，需要识别视频图像中出现的汉字，并将其提取出来转换成字符。

经过以上手段处理后得到的数据被称为视频节目的特征数据。特征数据的数量往往是非常庞大的。如，一个30分钟左右的视频节目可能包含500张以上的关键帧图片，而每个图片的特征往往需要若干个几十、甚至上百维的向量加以刻画；同样一段节目的语音在转化成图一类的特征数据结构后，往往需要几兆的空间保存。

因此，在进行基于内容的视频检索时，往往面临着数据量庞大，检索效率低下的问题。必须设法解决。或者减少特征数据的数据量，或者采取特别方式缩小检索范围以提高检索速度。

同时，基于内容的视频检索还存在无法准确匹配的问题。检索条件和数据库系统中存放的特征数据往往不是百分之百的匹配的。例如，即使检索条件图像中和数据库关键帧图片中出现了同一个人的形象，对这些关键帧进行分析后，得到的特征向量也不可能完全和检索条件图像的特征数据是一样的。但是对于视频检索，这些图像却是“符合”检索条件的。因此，针对特征向量的检索应该执行模糊匹配策略。需要适当的检索和搜索策略来寻找能满足条件的结果，并得到模糊匹配的程度。

目前，在视频分析领域、图像分析领域、语音分析领域和字幕提取领域，都已经有了令人振奋的研究成果。分析的精度已经达到了一定的程度。但是，在国内目前尚很少将上述领域的研究成果应用在实际的产品中。至于将上述领域的研究成果相结合，为基于内容的视频检索服务，更是没有先例。

将视频分析领域、图像分析领域、语音分析领域和字幕提取领域的成果结合起来，并辅以其他重点技术，共同为基于内容的视频检索服务，还面临着很大的困难和挑战。无论从设计上，还是从实际的开发都还有相当多的技术难点需要解决。

发明内容