[发明专利]为助理系统处理多模态用户输入

说明书

在一个实施例中，一种方法包括从与第一用户相关联的客户端系统接收基于一个或更多个模态的用户输入，其中至少一个模态是视觉模态，基于一个或更多个机器学习模型、基于视觉模态来识别与用户输入相关联的一个或更多个主体，基于一个或更多个机器学习模型分别确定与一个或更多个主体相关联的一个或更多个属性，基于所确定的一个或更多个属性来解析对应于一个或更多个主体的一个或更多个实体，执行与一个或更多个解析的实体相关联的一个或更多个任务，以及向与第一用户相关联的客户端系统发送用于响应于用户输入来呈现通信内容的指令，该通信内容包括与所执行的一个或更多个任务相关联的信息。

技术领域

本公开总体上涉及在网络环境内的数据库和文件管理，且具体涉及用于智能助理(smart assistant)系统的硬件和软件。

背景

助理系统可以基于用户输入、位置感知和从各种在线来源访问信息(如天气状况、交通拥堵、新闻、股票价格、用户日程、零售价格等)的能力的组合来代表用户提供信息或服务。用户输入可以包括文本(例如，在线聊天)(尤其是在即时消息传递应用或其他应用中的文本)、声音(voice)、图像或它们的组合。助理系统可以基于用户输入来执行礼宾类型的服务(例如，预订晚餐、购买活动门票、安排旅行)或者提供信息。助理系统也可以基于在线信息和事件执行管理或数据处理任务，而无需用户启动或交互。可以由助理系统执行的那些任务的示例可以包括日程管理(例如，对晚餐约会发送用户由于交通状况而要迟到的告警信息，更新双方的日程，以及改变餐馆预订时间)。助理系统可以通过计算设备、应用编程接口(API)、以及用户设备上应用激增(proliferation)的组合来实现。

可以包括社交网络网站的社交网络系统可以使它的用户(例如个人或组织)能够与它交互以及通过它彼此交互。社交网络系统可以利用来自用户的输入来在社交网络系统中创建并存储与用户相关联的用户简档(user profile)。用户简档可以包括用户的人口统计信息、通信渠道信息以及关于个人兴趣的信息。社交网络系统还可以用来自用户的输入来创建并存储用户与社交网络系统的其他用户的关系的记录，以及提供服务(例如，简档/动态消息(news feed)帖子、照片分享、事件组织、消息传递、游戏或广告)以便于在用户之间或当中的社会交互。

社交网络系统可以通过一个或更多个网络向用户的移动设备或其他计算设备发送与它的服务相关的内容或消息。用户还可以在用户的移动设备或其他计算设备上安装软件应用，用于访问用户的用户简档和在社交网络系统内的其他数据。社交网络系统可以生成一组个性化的内容对象以显示给用户，例如关连(connect)到该用户的其他用户的汇集的动态(story)的动态消息。

特定实施例的概述