[发明专利]语义可视搜索引擎

说明书

分案申请

本申请是申请号为200680041967.8、2008年5月9日进入国家阶段、申请日为2006年9月27日、发明名称为“语义可视搜索引擎”的专利申请的分案申请。

技术领域

本发明一般地涉及可视信息分析和语义搜索。更具体地，本发明涉及存储在例如移动电子设备的设备中的内容的特征提取、特征和对象匹配以及特征选择。

背景技术

随着近些年移动设备上的图像文件、视频文件、音频文件等的多媒体数据库逐渐变得更大，对用于数据库分类、搜索和管理的全面和精确系统的需求显著增加。在早些的移动设备中，存储空间十分有限，这导致相对小数目的多媒体对象存储在设备上。由于仅少量的对象被存储，所以精确地分类、搜索和管理实质上不太重要。然而，由于存储能力已经增加，因此已经向移动设备用户提供在例如移动电话的单个设备上存储成百并且甚至成千的对象的能力。然而，由于存储的对象太多，用户具有寻找先前存储的对象或组织他或她的所有多媒体文件以便稍后访问的困难时间。

在图像检索领域，现有的基于内容的图像检索(CBIR)系统通过查找从目标图像提取的类似低级特征来搜索相关图像。该方法的一个问题在于“类似低级特征”不会必然地确保“类似语义内容”。这是由于若干种因素。第一，两个“类似语义内容”可能最终具有不同的表现。例如，可以存在类间对象变化(例如，山脉不必看起来类似)。第二，“类似低级特征”可能对应于概念上不类似的对象。例如，色彩直方图不能轻易地区分红玫瑰与日落。第三，图像总是包含背景混乱，这经常会干扰低级特征匹配。尽管人类可以轻易地从语义类似内容识别显著的特征(例如，脸部具有代表眼部的黑色椭圆区域)，但对于计算算法来说，仍极难自动地将显著的特征与低级特征分离。

尽管有多种尝试通过基于内容的图像检索来解决上面的问题，但每个尝试均具有其自身的缺陷。例如，签发给Jain等人的US专利号5,893,095公开了一种基于内容的图像检索系统，其基于匹配从目标图像提取的低级特征。此类的“原始”特征包括色调、饱和度和强度直方图、边缘密度等。然而并且如上所述，这些低级特征不总是对应于图像语义。

先前开发的通用图像识别/检索系统用于根据四类低级特征来识别图像，即平均色彩、色彩直方图、纹理和形状。在该系统下，用户能够人工地在图像内添加用户定义的形状和/或感兴趣的区域以精炼搜索结果。这些用户指定的特征经常是很有意义的并且可以产生精确的结果。然而，输入这些特征是乏味的并且对于大多数用户来说太难。

除了上述的尝试，还有许多尝试使用机器学习以便进行特征选择。例如，一个系统涉及使用AdaBoost(“Adaptive Boosting”的缩写)学习算法来训练脸部检测器。给定一组训练脸部图像，显著的面部特征，例如前额和眼部周围的高对比度区域被自动地选择。尽管该方法演示了监督学习以便特征选择的可行性，但由于背景混乱的存在，其不能直接应用地图像数据库检索。

在另一个方法中，选择局部显著的特征并且接着以合并的概率模型来表示。该模型有效地适应了类间对象变化。然而，该方法计算量大并且因此选择的特征的数目有限(在一个实施中仅限于六个特征)。该方法不能被直接应用于移动应用。

发明内容

本发明提供一种语义可视搜索引擎，其使用在例如移动电话的设备和其他移动电子设备中。利用本发明，使用监督的学习方法可将显著的特征与低级特征分离。显著的特征可用于分类和批注新的目标图像。用户可接着使用关键词和/或模板项目来通过相应的数据库进行搜索。

利用本发明，可基于“语义”对象类来搜索例如图像和视频的相关项目。另外，利用本发明，从图像和视频编码搜索得到的结果比由常规系统生成的结果更为精确和更为有意义。

通过下面结合附图的详细描述，本发明的这些和其他目标、优势和特征，连同其操作的组织和方式将变得明显，其中在下面描述的若干附图中，相同的元件具有相同的标号。

附图说明

图1是可以在实现本发明中使用的移动电话的透视图；

图2是图1中的移动电话的电话电路的示意图；

图3(a)是示出实现本发明原理的系统的学习处理的示图；图3(b)是示出实现本发明原理的系统的分类处理的示图；并且图3(c)是实现本发明原理的系统的搜索处理的示图；

图4是根据本发明一个实施方式的如何从图像提取低级特征的示图；以及

图5是示出实现本发明的各种实施方式的流程图。

具体实施方式