[发明专利]对于搜索查询输入的多模态方式

说明书

背景技术

本领域中已知各种用于搜索和检索信息的方法，诸如在广域网络上通过搜索引擎来进行。这样的方法典型地利用基于文本的搜索。基于本文的搜索利用包括一个或多个诸如词或短语之类的文本元素的搜索查询。将文本元素与索引或其它数据结构比较以识别包括匹配的或者语义上相似的文本内容、元数据、文件名或者其它文本表示的、诸如网页之类的文档。

基于文本的搜索的已知的方法对于基于文本的文档相对较好地工作，然而它们难以应用于图像文件和数据。为了经由基于文本的查询来搜索图像文件，图像文件必须与一个或多个诸如标题、文件名或者其它元数据或标签之类的文本元素关联起来(associate)。用于基于文本的搜索的搜索引擎和算法不能基于图像的内容来搜索图像文件，并且由此被限制于仅基于与图像关联起来的数据来识别搜索结果图像。

已经开发了用于基于内容的图像搜索的方法，其分析图像的内容以识别视觉上相似的图像。然而，对于识别与图像搜索的输入关联的基于文本的文档，这样的方法可能受限制。

发明内容

在各种实施例中，提供用于使用多种模式的输入作为搜索查询的一部分的方法。所述方法允许由关键词或者文本输入、图像输入、视频输入、音频输入或者其它模式的输入的组合组成的搜索查询。然后，可以基于从各种模式的查询输入提取的特征来执行对于响应文档的搜索。可以在初始搜索请求中呈现多个模式的查询输入，或者可以利用第二类型的输入来补充包含单个类型的查询的初始请求。除了提供响应结果之外，在一些实施例中，可以基于查询的内容或者初始的响应结果来做出额外的查询改进(refinement)或者建议。

提供此发明内容部分来以简化的形式介绍构思的选择，所述构思在下面在具体实施方式部分中进一步描述。此发明内容部分并不意在标识所请求保护的主题的关键特征或者必要特征，其也不意在用于孤立地帮助确定所请求保护的主题的范围。

附图说明

下面参照附图详细描述本发明，附图中：

图1是适用于实现本发明的实施例的示例计算环境的框图。

图2示意性地示出了适用于执行本发明的实施例的网络环境。

图3示意性地示出了根据本发明的实施例的用户界面的组件的示例。

图4示出了执行本发明的实施例时所涉及的各种组件和进程之间的关系。

图5-9示出了根据本发明的实施例、从图像提取图像特征的示例。

图10-12示出了根据本发明的各个实施例的方法的示例。

具体实施方式

在各个实施例中，提供了用于将关键词或者基于文本的搜索输入与其它模式的搜索输入集成的系统和方法。其他模式的搜索输入的示例可以包括图像输入、视频输入、以及音频输入。更一般地，所述系统和方法可以允许基于查询中多种模式的输入的搜索的性能。所得到的多模态搜索系统和方法的实施例可以在向搜索引擎提供输入时为用户提供更大的灵活性。另外，当用户利用一种类型的输入（诸如图像输入）发起搜索时，然后可以使用第二类型的输入（或者多种其他类型的输入）来改进(refine)或者在其它情况下修改响应的搜索结果。例如，用户可以输入一个或者多个关键词以便与图像输入关联起来。在许多情况下，额外的关键词与图像输入的关联可以提供比单独的图像输入或者关键词输入更清楚的用户意图的指示。

在一些实施例中，通过使用包括与多于一种类型的数据有关的项的索引（诸如包括基于文本的关键词、基于图像的“关键词”、基于视频的“关键词”、以及基于音频的“关键词”的索引）来执行基于多模态的搜索输入对于响应结果的搜索。用于将用于除了基于文本的搜索之外的输入模式的“关键词”合并的一个选择可以是使多模态特征与人造关键词相互关联(correlate)。这些人造关键词可被称为描述符关键词。例如，用于基于图像的搜索的图像特征可以与描述符关键词相互关联，以使得基于图像的搜索特征出现在与传统的基于文本的关键词相同的倒排的索引(inverted index)中。例如，在西雅图的“Space Needle（太空针塔）”大厦的图像可以包含多个图像特征。这些图像特征可以从图像提取，并且然后与描述符“关键词”相互关联，以用于与其它基于文本的关键词项一起合并到倒排的索引中。