[发明专利]为助理应用提供图像快捷方式的系统、方法和装置

摘要

生成和/或利用响应于确定一个或多个特征存在于来自用户的计算设备的相机的图像中(例如，存在于来自相机的实时图像馈送中)而使得执行一个或多个相应的计算机动作的图像快捷方式。可以响应于用户接口输入诸如语音命令来生成图像快捷方式。例如，用户接口输入可以指示自动化助理响应于在相机的视野中存在具有某些特征的对象来执行一个或多个动作。随后，当用户将他们的相机指向具有这些特征的对象时，助理应用可以使得动作被自动地执行。例如，助理应用可以根据图像快捷方式，使得数据被呈现和/或可以控制远程设备。

主权项

1.一种由一个或多个处理器实现的方法，所述方法包括：/n由助理应用确定来自计算设备的相机的实时图像馈送包括对象的图形表示，所述确定包括：使用一种或多种图像处理技术，处理来自所述相机的图像；/n识别与所述对象相关联的图像快捷方式设置，所述图像快捷方式设置对应于预配置过程，通过所述预配置过程，所述助理应用对所述实时图像馈送中提供的图像内容进行响应；/n生成与所述图像快捷方式设置相关联的查询，所述查询包括所述助理应用根据所述图像快捷方式设置而提供的数据的类型的数据标识符；/n基于所述查询接收数据，所述数据对应于与所述图像快捷方式设置相关联的所述数据的类型；以及/n响应于确定所述实时图像馈送包括所述对象的图形表示，并且基于与所述对象相关联地存储的所述图像快捷方式设置：/n使得所述对象数据与所述实时图像馈送一起在所述计算设备处被渲染。/n