[发明专利]统一的对话理解方法及框架

说明书

本发明实施例提供一种统一的对话理解方法。该方法包括：将各类别的对话理解任务按照统一的生成范式转换为多个生成式对话任务；将多个生成式对话任务输入至任务统一生成式模型，输出与多个生成式对话任务对应的任务标识和任务答案，以解决各类别的对话理解任务。本发明实施例还提供一种统一的对话理解框架。本发明实施例提出了一个统一的生成性对话理解框架，用于在多个对话理解任务中共享知识。为了缓解偏差生成问题，改进了现有的可学习权重方法，该方法可以获得最佳的整体性能。与现有模型相比，本方法的UniDU在多个DU任务上实现了更好的性能。进一步深入研究了影响因素。最后，实验结果表明，UniDU模型在小样本和零样本设置下也能获得优异的性能。

技术领域

本发明涉及智能语音领域，尤其涉及一种统一的对话理解方法及框架。

背景技术

会话系统的发展对智能设备的普及起着重要作用，如智能助手。近年来，人们对神经对话系统越来越感兴趣。对话理解是神经对话系统中的核心技术，旨在从不同的细粒度角度准确分析对话。然而对话理解任务有多种类型，例如给出一段题干和问题确定对应的答案，或者给出一段长文本确定简短的关键语句等。由于各任务格式不同，这些DU(Dialogue Understanding，对话理解)任务仍然是独立学习的。

在对话任务学习中有：

多任务学习在对话理解中的应用：利用不同理解任务的语料训练共享的对话编码模型，不同的任务还是有自己独立的解码模块，对于分类问题用特殊符号代表的对话表示做分类计算，对于序列标注问题在每一个词上做标注计算，对于生成问题会有独立的自回归式解码计算。

生成式的方法在对话建模中的应用：生成式的对话建模一般是指将对话内容用语言模型的方式进行建模，将对话建模变成对话生成问题，然后利用其他标注信息来帮助对话生成的质量。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

关于多任务学习在对话理解中的应用：不同的对话理解问题仍然需要被设定为不同的对话理解任务，比如说对话意图识别是分类任务，对话槽填充是序列标注任务和对话简写是生成任务。不同的任务都是有自己独立的一套参数，这种方式不利于探索不同任务之间的影响，因为还是要受限于模型的影响。另外，这种多任务训练方式的可扩展性较差，不同任务还是需要独立建模，对于内存的要求较高，几乎是随着任务数量的增加成线性增长。

生成式的方法在对话建模中的应用：仅仅是以对话生成问题作为主要问题，没有考虑在训练过程中不同多任务训练方式对不同对话理解任务的影响。也没有深入讨论大量其他形式的对话理解任务的影响。

发明内容

为了至少解决现有技术中不同任务还是需要独立建模，不利于对话理解不同对话任务，全局考虑所有对话理解任务的性能要求，只是为了将其他任务来提升对话生成任务的性能，没有考虑不同多任务训练方式的影响的问题。第一方面，本发明实施例提供一种统一的对话理解方法，包括：

将各类别的对话理解任务按照统一的生成范式转换为多个生成式对话任务；

将所述多个生成式对话任务输入至任务统一生成式模型，输出与所述多个生成式对话任务对应的任务标识和任务答案，以解决各类别的对话理解任务。

第二方面，本发明实施例提供一种统一的对话理解框架，包括：

统一转换程序模块，用于将各类别的对话理解任务按照统一的生成范式转换为多个生成式对话任务；

对话理解程序模块，用于将所述多个生成式对话任务输入至任务统一生成式模型，输出与所述多个生成式对话任务对应的任务标识和任务答案，以解决各类别的对话理解任务。