[发明专利]用于为文本分类提供解释的技术

说明书

一种聊天机器人系统被配置为执行代码以执行：由所述聊天机器人系统确定对话语的分类结果并确定一个或多个锚点，所述一个或多个锚点中的每个锚点对应于所述话语中的一个或多个锚点词。对于所述一个或多个锚点中的每个锚点，生成一个或多个合成话语，并且确定对所述一个或多个合成话语的一个或多个分类结果。由所述聊天机器人系统生成包括所述一个或多个锚点中的特定锚点的表示的报告，在所述一个或多个锚点中，所述特定锚点对应于最高置信度值。可以使用所述一个或多个合成话语来生成用于训练机器学习模型的新训练数据集。可以根据置信度阈值对所述训练数据集进行细化以过滤出用于训练的数据集。

相关申请的交叉引用

本申请根据35U.S.C.119(E)要求于2020年8月21日提交的美国临时申请号63/068,608和2021年4月13日提交的美国临时申请号63/174,336的权益和优先权。出于所有目的，前述申请的全部内容通过援引以其全文并入本文。

技术领域

本公开总体上涉及聊天机器人系统，并且更具体地涉及用于为文本分类提供解释的技术。

背景技术

为了获得即时反应，世界各地的许多用户使用即时消息传递或聊天平台。组织经常使用这些即时消息传递或聊天平台与客户(或最终用户)进行实时会话。然而，雇用服务人员与客户或最终用户进行实时交流对于组织来说会是非常昂贵的。因此，已经开始开发聊天机器人(后文也称为“机器人”或“技能”)，以与最终用户进行会话，尤其是通过因特网。最终用户或客户可以通过最终用户已经安装并使用的消息传递应用程序与机器人交流。智能机器人(通常通过人工智能(AI)提供动力)可以在实时会话中更智能地且根据上下文进行交流并且因此可以允许机器人与最终用户之间进行更加自然的会话以改善会话体验。不是最终用户去学习机器人知道如何作出回应的固定的一组关键词或命令，而是智能机器人可以能够基于自然语言的用户话语理解最终用户的意图并且相应地作出回应。

然而，聊天机器人很难构建，因为这些自动化解决方案需要某些领域中的特定知识和可能只在专业开发人员的能力范围内的某些技术的应用。作为构建这种聊天机器人的一部分，开发人员可以首先了解企业和最终用户的需求。开发人员然后可以分析并作出与例如以下各项有关的决策：选择要用于分析的数据集；准备用于分析的输入数据集(例如，在分析之前清理数据、提取、格式化和/或变换数据、执行数据特征工程等)；识别用于执行分析的适当的(多种)机器学习(ML)技术或(多个)ML模型；以及改善技术或模型以基于反馈改善结果/效果。识别适当的模型的任务可以包括开发多个模型(可能并行地)、迭代地对这些模型进行测试和实验、之后识别特定的模型(或多个模型)以供使用。进一步地，基于监督式学习的解决方案通常涉及训练阶段、随后是应用(即，推理)阶段和介于训练阶段与应用阶段之间的迭代循环。开发人员可以负责仔细地实施并监测这些阶段，以实现最佳解决方案。

尽管被广泛采用，但包括神经网络模型在内的机器学习模型通常作为黑盒进行操作，通过对输入数据执行某些数学或逻辑运算来进行推理(输出)。机器学习模型的输出可以包括例如预测或分类、和/或对应的置信水平。然而，机器学习模型的输出或特定推理的输出可能不提供对机器学习模型的见解，使得用户可以理解机器学习模型的行为(诸如特定输入为何会生成特定输出)，以确定模型和/或特定预测是否值得信赖以及如何改进训练数据和模型。另外，为机器学习模型开发的训练集通常是手动生成的，然后输入到机器学习模型中。训练或再训练机器学习模型的时间可能受制于生成这些训练集的能力。没有全面的方法将推理解释系统整合到再训练系统中以改进机器学习模型。

发明内容

本文所公开的技术总体上涉及聊天机器人。更具体且非限制性地，本文所公开的技术涉及用于在例如聊天机器人中为文本分类提供解释的技术。聊天机器人可以将用户话语分类为不同的类别，如用户的预定义意图。聊天机器人的分类器可以包括经训练的ML模型，该模型基于输入(例如，用户话语)生成输出(例如，意图)。分类通常是黑盒，缺乏可解释性和可说明性。