[发明专利]语言理解系统和方法的生成

说明书

提供了可以被快速且有效地构建、测试并改进的特定于域的语言理解模型。提供了使得开发方能够快速且在无需专门的机器学习知识的情况下构建用户意图检测模型、语言实体提取模型和语言实体解析模型的方法、系统和设备。这些模型可以经由单模型系统所构建并实施，该单模型系统使得模型能够被隔离地或者在端到端流水线系统中被构建，该流水线系统使得模型能够以同时的方式被构建和改进。

背景技术

随着现代计算系统的出现，各种各样的个人计算系统和设备已经启用了对话系统和应用，其允许用户向他/她的计算设备讲出问题，以搜索将由计算设备响应于该问题而提供的信息。例如，在典型的设置中，用户向她的手持移动电话或平板计算设备讲出诸如“where is the closest pizza restaurant？(最近的披萨餐厅在哪儿)”的问题，并且该用户预期她的设备(如果配备有适当应用)会用“I have found three pizza restaurantsnearby(我已经找到附近三家披萨餐厅)”这样的短语对该问题作出响应。根据一些系统，应用可以响应于用户请求向用户提供地址和其它信息。在一些情况下，所接收的问题在用户的计算设备上被本地处理，例如，在用户的日历信息被询问以面向日历的问题的情况下，在本地天气应用被询问以面向天气的信息的情况下，在本地联系人数据库被询问以用于面向联系人的信息的情况下，等等。如果无法在本地获得响应于请求的信息，则一些系统使用所接收的请求进行基于互联网的信息搜索，并且响应于用户请求的基于互联网的搜索结果被返回给用户。

在开发和实施这种系统时所遇到的重大困难之一涉及语言理解。也就是说，这种系统的开发和实施中的一个问题是理解用户所讲出的自然语言，而使得给定口头话语的组成部分可以被用于执行计算机支持的功能。对于被提供给用户以允许用户通过语音交互来利用这些应用或功能的新应用或功能的开发方而言，该困难尤其成为问题。

例如，如果出租车服务提供方希望提供一种允许用户向其手持计算设备(例如，移动电话)讲出用于请求出租车的请求，则该应用的提供方面临着实施语言理解模型的艰巨任务，该语言理解模型将理解用户可以向该应用讲出针对出租车服务的请求的许多不同方式，该应用将理解上述方式以提供所请求的服务。例如，这种支持计算机的出租车服务可能会收到诸如“I need a taxi，(我需要出租车，)”、“Can you get me a car？(你能给我安排一辆车么？)”、“Is this a taxi service？(这是出租车服务么？)”、“I need a cab todowntown，(我需要出租车去市区)”等之类的口头请求。这样的口头短语的问题在于，它们可能以多种结构、格式以及具有随使用该服务的人数而有所不同的单词和短语讲出。也就是说，该服务可以接收到以几乎无限的方式不同于其它类似口头话语的口头话语形式的请求。

例如，在这些提供的示例话语中，使用了数个不同术语来描述用户将被其运载的物理设备，包括taxi、car、cab等。另外，短语中的一些是作为问题提出的，而话语的一些则是作为陈述给出。话语的一些可以被理解为请求出租车服务，而话语的一些则可以被理解为指向购买车辆的搜索。响应于这种语言理解的困难，语言理解系统的开发方和实施者通常参与到向语言理解系统的组件教授响应于基于话音的请求提供服务的应用可能预见到的术语和短语的许多不同变型的工作之中，这项工作非常缓慢、艰苦并且是劳动密集的。例如，数据工程师收集包含目标用户意图的实例的话语数据。用户体验设计师创建解释新的目标意图的标记指令。众包工程师创建众包任务，其中多个工作者向多个示例用户在众包任务中所接收到的数据(各种话语)应用该标记指令。机器学习专家使用该数据来构建可以确定将向其计算设备讲出请求的用户的意图的意图检测模型，以及提取实体(例如，口头话语中可能构成该话语的主语的术语，诸如“出租车”)的实体提取模型。