[发明专利]可视菜单

说明书

增强现实(AR)覆盖利用对应的照片增强了传统菜单项，从而促进用户从菜单中订购的决策过程。除了提供列出的菜单项的影像之外，还可以供给其他信息，诸如评级、评论等。在这方面，用户可以在订购前可视化所期望的内容，并且可以以他们将享受他们选择的菜单项的更高的置信度来订购。

背景技术

从菜单订购可能有些困难，尤其是在不熟悉的地方。例如，当用户去餐馆时，菜单上的某些菜肴可能看起来很有趣，但是菜单通常没有为用户提供足够的信息以确保他们会喜欢某种菜肴。首次访问餐馆、访问位于不同地理位置的餐馆或访问供应与用户习惯不同类型美食的餐馆时，不确定性通常会更加复杂。

看到菜肴的外观将有助于解决不确定性并使体验更加愉悦，但是传统上，大多数餐馆菜单仅具有菜肴的名称和/或描述，而没有图像。用户可以在本地搜索应用中查看餐馆的图像，但是将他们看到的图像与他们在餐馆菜单上读取的菜单项进行手动匹配很麻烦。

发明内容

根据本公开，增强现实(AR)覆盖利用对应的照片增强了传统菜单项，从而促进用户从菜单中订购的决策过程。除了提供列出的菜单项的影像之外，还可以供给其他信息，诸如评级、评论等。在这方面，用户可以在订购前可视化所期望的内容，并且可以以他们将享受他们选择的菜单项的更高的置信度来订购。

本公开的一个方面提供了一种识别与文本项相对应的图像的方法，该方法包括：用一个或多个处理器从图像捕获设备接收文本图像；用一个或多个处理器解析图像中的文本；用一个或多个处理器确定图像捕获设备的位置；用一个或多个处理器确定与所确定的位置相对应的实体；并且，识别与所解析的文本和所述实体相对应的图像。该方法进一步包括利用一个或多个处理器选择所识别的图像中的至少一个所识别的图像，并且提供所选择的图像以显示为关于文本的增强现实覆盖。根据一些示例，选择过程包括：基于所解析的文本为所捕获的图像生成第一标签集合；为所识别的与所解析的文本和实体相对应的图像生成第二标签集合；以及，将第一标签集合与第二标签集合进行比较。例如，将第一标签集合与第二标签集合进行比较可以包括确定第一标签集合与第二标签集合之间的距离，并且选择所识别的图像中的至少一个所识别的图像可以包括识别在第一标签集合和第二标签集合之间的最短距离，并选择与最短距离相对应的图像。根据一些示例，该方法可以进一步包括：为每个所识别的图像生成分数，并基于分数对所识别的图像进行排名。分数可以至少部分地基于图像质量和图像美感。所选择的图像的显示可以在用户设备的屏幕的固定部分中，或者所显示的图像可以被随附到文本。在一个实现中，文本是菜单项，实体是餐馆，并且所识别的图像是与菜单项相对应的在餐馆中供应的菜肴的图像。

本公开的另一方面提供了一种用于识别与文本项相对应的图像的系统。该系统包括一个或多个存储器，以及与一个或多个存储器通信的一个或多个处理器。一个或多个处理器可以驻留在客户端设备、服务器或它们的某种组合中。一个或多个处理器被配置为从图像捕获设备接收文本的图像，解析图像中的文本，确定图像捕获设备的位置，确定与所确定的位置相对应的实体，识别与所解析的文本和实体相对应的图像，选择所识别的图像中的至少一个所识别的图像，并提供所选择图像以显示为关于文本的增强现实覆盖。在选择所识别的图像中的至少一个中，一个或多个处理器可以进一步被配置为基于所解析的文本为所捕获的图像生成第一标签集合，为与所识别的所解析的文本和实体相对应的图像生成第二标签集合，然后将第一标签集合与第二标签集合进行比较。将第一标签集合与第二标签集合进行比较可以包括确定第一标签集合与第二标签集合之间的距离。选择所识别的图像中的至少一个所识别的图像可以包括识别第一标签集合和第二标签集合之间的最短距离，以及选择与最短距离相对应的图像。根据一些示例，一个或多个处理器还被配置成为所识别的图像中的每一个生成分数，并基于分数来对所识别的图像进行排名。分数可以至少部分地基于图像质量和图像美感。