[发明专利]解析自动化助理请求的方法

说明书

描述了方法、装置和计算机可读介质，其与响应于确定与传感器数据可能捕捉的环境对象有关的请求而使得执行对所述传感器数据的处理有关。一些实施方式还涉及基于对所述传感器数据的处理来确定所述请求是否可解析。当确定所述请求不可解析时，则提示被确定并且被提供作为用户界面输出，其中所述提示提供关于进一步输入的指导，所述进一步输入将使所述请求能够被解析。在那些实施方式中，然后能够利用响应于所述提示而接收到的进一步输入(例如，附加传感器数据和/或用户界面输入)解析所述请求。

背景技术

能够利用图像处理来解析图像中的对象的属性。例如，一些图像处理技术利用图像处理引擎来解析图像中捕捉的对象的分类。例如，对于捕捉帆船的图像，能够执行图像处理以解析图像的“boat(船)”和/或“sailboat(帆船)”的分类值。能够使用图像处理来解析另外的属性或替代属性。例如，能够使用光学字符识别(OCR)来解析图像中的文本。而且，例如，能够使用一些图像处理技术来确定图像中的对象的更特定分类(例如，帆船的特定品牌和/或型号)。

一些图像处理引擎利用一种或多种机器学习模型，诸如深度神经网络模型，该模型接受图像作为输入，并且利用学习的参数基于图像来生成指示图像中存在多个对应的属性中的哪一个的测度作为输出。如果测度指示图像中存在特定属性(例如，如果测度满足阈值)，则能够将该属性视为该图像“已解析”(即该属性能够被视为存在于图像中)。然而，通常可能是图像的图像处理可能无法解析一个或多个(例如，任何)属性的情况。此外，还可能是这样的情况：图像的所解析的属性无法以期望的特异性程度定义图像中的对象。例如，图像的所解析属性可以使得能够确定图像中是否存在“shirt(衬衫)”，并且衬衫为“red(红色)”——但可能无法衬衫的制造商，衬衫是“short sheeve(短袖)”还是“long sheeve(长袖)”等。

另外，人类可以使用本文称为“自动化助理”(也称为“交互式个人助理”、“智能个人助理”、“个人语音助理”、“会话代理”等)的交互式软件应用参与人机对话。自动化助理通常会从用户那里接收自然语言输入(话语)。在一些情况下，自然语言输入能够作为音频输入(例如，流音频)被接收并且被转换为文本和/或作为(例如，键入的)文本自然语言输入被接收。自动化助理使用响应内容(例如，视觉和/或听觉自然语言输出)来响应自然语言输入。然而，经常可能是自动化助理不接受和/或响应于基于捕捉环境对象的一个或多个属性的传感器数据(例如，图像)的请求。

发明内容

本文所述的实施方式涉及响应于确定与可能被传感器数据捕捉的环境对象相关的请求而使得执行对传感器数据的处理。例如，能够响应于基于结合至少一个图像的捕捉而由用户提供的自然语言输入(例如，在该至少一个图像的捕捉不久之前、之后和/或期间接收的自然语言)而确定的请求来对图像执行图像处理。例如，用户能够通过客户端设备的自动化助理界面提供“what's wrong with my device(我的设备怎么了)”的语音输入。能够确定语音输入与环境对象相关，结果，能够对由客户端设备的相机捕捉的图像执行图像处理。能够基于单独的用户界面输入(例如，对“image capture(图像捕捉)”界面元素的选择)由相机捕捉图像，或者能够响应于确定语音输入与环境对象相关而自动捕捉图像。

本文所述的一些实施方式还涉及基于对传感器数据的处理来确定请求是否是可解析的。例如，基于确定以对至少一个图像的图像处理为基础而解析的一个或多个属性(如果存在)未能以目标特异性程度定义对象，能够将请求确定为是不可解析的。当确定请求是不可解析的时，则提示被确定并且被提供作为用户界面输出(例如，可听和/或图形)，其中提示提供了关于将使请求能够被解析的进一步输入的指导。提示能够指示用户捕捉对象的其它传感器数据(例如，图像、音频、温度传感器数据、重量传感器数据)和/或将对象(和/或其它对象)移动以使得能够捕捉对象的其它传感器数据。例如，提示能够被定制以使得能够捕捉附加图像，这些附加图像使得能够对基于对至少一个图像的图像处理而未解析的一个或多个属性的解析。提示能够另外地或可替选地请求用户提供针对对象的未解析属性的用户界面输入(例如，自然语言输入)。