[发明专利]虚拟代理系统中的查询识别弹性确定

说明书

一种计算机实现的方法，包括：由计算设备生成查询的样本，其中，该查询映射到预定的分类；以及使用第一自然语言处理来处理样本，其中处理产生包括样本的类别的输出；存储有关输出的类别是否与预定的类别匹配的数据；基于存储的数据生成报告，该报告指示多个查询样本的类别与预定的类别匹配的百分比；输出报告；接收第二自然语言处理，该第二自然语言处理包括基于报告的对第一自然语言处理的更新，其中，相对于使用第一自然语言处理来处理所述多个样本，当使用第二自然语言处理时，更新增加了与预定的类别匹配的多个查询样本的百分比。

背景技术

本发明总体上涉及确定查询识别弹性，并且更具体地，涉及确定虚拟代理系统中的查询识别弹性。

用户可以使用用户计算机设备与虚拟支持代理(例如，聊天机器人、自动支持代理等)进行交互，以获得信息或针对技术问题的帮助(例如，重置密码、更改服务帐户等)。虚拟支持代理系统(称为“代理”或“代理系统”)和用户可以进行对话，代理在该对话中询问问题以确定用户的问题并为用户提供解决方案。当用户向代理提供查询时，代理应适当响应查询。代理系统通过确定查询的意图并使用确定的意图来寻找相应的活动或后续问题以作为对话的一部分来进行响应。

可以使用用户查询的自然语言处理(NLP)来确定用户对代理问题的回答时的意图。自然语言既无限又模棱两可。无论虚拟代理系统多么聪明，或者学习多么深入，任何系统都可能发生故障。虚拟代理系统甚至可能无法正确解释基本查询或基础查询。例如，可以正确识别查询并对其进行正确分类，但是虚拟代理系统可能无法对查询的轻微更改正确分类。例如，更改可能很简单，例如添加结构词，例如介词、冠词和其他语音成分，通常对内容没有帮助。另外，或者替代地，这种改变可以包括动词、名词和其他内容词，尽管它们提供了语义，但对查询的解释方式没有任何重大贡献。

发明内容

在本发明的一个方面，一种计算机实现的方法，包括：由计算设备生成查询的样本，其中所述查询映射到预定的类别；以及由所述计算设备使用第一自然语言处理来处理所述样本，其中所述处理产生包括所述样本的类别的输出；由所述计算装置存储有关所述输出的所述类别是否与所述预定的类别匹配的数据；由所述计算装置基于所述存储的数据生成报告，所述报告指示其类别与所述预定的类别匹配的多个查询样本的百分比；由所述计算设备输出所述报告；以及由所述计算设备接收第二自然语言处理，所述第二自然语言处理包括基于所述报告的对所述第一自然语言处理的更新，其中，相对于使用所述第一自然语言处理来处理所述多个样本，当使用所述第二自然语言处理时，所述更新增加了与所述预定的类别匹配的所述多个查询样本的百分比。在另一方面，所述预定类别是第一预定的类别，并且所述方法还包括：使用所述自然语言处理与第二预定的类别相关联的多个查询样本，以生成指示与所述第二预定的类别相关联的所述多个查询样本中的每个的各自的类别是否与所述第二预定的类别匹配的各个输出。

在本发明的一方面，提供了一种用于基于用户查询的弹性来更新与虚拟代理系统相关联的自然语言处理的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有嵌入其中的程序指令，所述程序指令可由计算设备执行以使计算设备：基于映射到预定的类别的查询生成多个查询样本；使用第一自然语言处理来处理所述多个查询样本中的每一个，其中所述处理产生包括针对所述多个查询样本中的每一个的相应类别的相应输出；存储关于所述多个查询样本中的每一个的各自类别是否与所述预定的类别匹配的数据；基于所存储的数据生成报告，该报告指示具有与所述预定的类别匹配的类别的所述多个查询样本的百分比；输出所述报告；以及接收第二自然语言处理，该第二自然语言处理包括基于所述报告的对所述第一自然语言处理的更新，其中，相对于使用所述第一自然语言处理来处理所述多个样本，当使用所述第二自然语言处理时，所述更新增加了与所述预定的类别匹配的所述多个样本的百分比。在另一方面，所述预定的类别是第一预定的类别，所述程序指令还使所述计算设备：用所述自然语言处理与第二预定的类别相关联的多个查询样本，以生成指示与所述第二预定的类别相关联的所述多个查询样本中的每个的各自的类别是否与所述第二预定的类别匹配的各个输出。