[发明专利]基于姿势的视觉搜索

说明书

背景

移动设备(例如,移动电话)不仅成为用于通信的日常必需品，而且广泛作为便携式多媒体设备，用于捕获和呈现数码照片，播放音乐及电影，玩游戏等。随着移动设备技术的到来,移动设备厂商已经为各种移动平台,诸如WindowsMobile、Android和iOS开发了许多移动应用。某些移动应用已被从对应的台式应用程序改编而来。从台式对应产品改编的移动应用的一个示例应用是搜索应用。用户可能想要执行与图像有关的搜索。该用户可随后将一个或多个关键字键入到他/她的移动设备的搜索应用并基于上述关键字执行基于文本的搜索。然而，由于移动设备较小的屏幕尺寸以及较小的键盘，用户可能发现难以使用他/她的移动设备来执行基于文本的搜索。

一些移动设备厂商通过允许用户使用语音识别来执行基于语音的搜索改进了移动设备中搜索应用的可用性。用户可以向搜索应用提供语音输入，该搜索应用可将语音输入翻译成一个或多个文本关键字。搜索应用随后可基于经翻译的关键字来执行搜索。尽管基于语音的搜索提供了基于文本的搜索的替换方案，但该基于语音的搜索离完美还距离甚远。例如，为了准确地识别语音输入，基于语音的搜索通常要求安静的背景，而这一要求对于在噪杂环境中行进的移动用户而言可能是不实际的。

而且，用户可能希望搜索以查找图像中的对象或者用户所处的位置中的对象。然而，如果用户不知道该对象是什么，则该用户可能向搜索应用提供不准确的或无意义的描述，而这可能导致检索到不相关的信息。

概述

本概述介绍了在以下详细描述中进一步描述的基于姿势的视觉搜索的简化概念。本概述并不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。

本申请描述了基于姿势的视觉搜索的示例实施例。在一个实施例中，图像可以与或者不与该图像相关联的上下文信息一起从客户机处被接收。与该图像相关联的上下文信息的示例包括但不限于：该图像中感兴趣对象的类型信息（例如脸部、建筑、车辆、文本等等），以及与该图像相关联的位置信息（例如，捕捉该图像所在的物理位置信息、诸如可供查看或下载该图像的web地址的虚拟位置信息等）。

响应于接收到上述图像，可将图像分割成多个片段。在一个实施例中，可基于与图像相关联的上下文信息将图像分割成多个片段。在分割了图像后，可将图像的部分或者全部返回给客户机来选择这些片段中的一个或多个。在一个实施例中，所选择的图像片段可包括客户机的用户感兴趣的对象。另外地或可选地，图像的一个或多个所选片段可包括与图像相关联的文本。可基于所选的片段来表述搜索查询。在某些实施例中，上述查询也可基于所接收的与图像相关联的上下文信息。在某些实施例中，可将查询呈现给客户机设备的用户以供确认上述搜索查询。可使用搜索查询来执行搜索，以获得一个或多个搜索结果，该一个或多个搜索结果可被返回给客户机。

附图简述

参考附图阐述详细描述。在附图中，附图标记中最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记指示相似或相同的项。

图1示出包含示例性的基于姿势的视觉搜索系统的示例环境。

图2更详细地示出了图1的示例性的基于姿势的视觉搜索系统。

图3A和图3B示出用于索引图像数据库中的图像的示例索引结构。

图4示出执行基于姿势的视觉搜索的示例方法。

详细描述

概览

如上所述，用户会发现难以使用已有的移动搜索技术在他/她的移动设备上执行搜索。例如，用户可能想要找到关于图像或图像中对象的更多信息。用户可通过将一个或多个文本关键字键入到他/她的移动设备（例如移动电话）中提供的搜索程序的文本框内来执行搜索以查找上述图像或对象。然而，在移动设备的较小的屏幕尺寸和/或较小的键盘（若可用的话）的情况下，用户会发现难以输入关键字。这种情况在一个或多个文本关键字很长和/或很复杂时变得更糟。

作为替代，用户可通过语音输入和语音识别（若可用的话）输入一个或多个关键字。但是，基于语音的搜索通常要求安静的背景，如果用户目前位于嘈杂环境，例如车辆或者公共场所，这种搜索可变得不可行。

更糟的是，如果用户不知道图像中的对象是什么，用户可能不知道如何描述这一对象或者图像来执行基于文本的搜索或者基于语音的搜索。例如，用户可能注意到含有某电影演员的图像并且想找到关于该电影演员的信息。然而，该用户可能不知道或者没记起他的名字，并由于他/她缺乏该演员的名称的知识而被迫放弃搜索。