[发明专利]一种生成式对话状态追踪模型的实现方法及装置

说明书

一种生成式对话状态追踪模型的实现方法及装置，对对话状态追踪构建生成模型，包括两个子任务，(1)针对槽位信息多标签分类，将对话语句输入到编码器获得对话的表示，再输入多标签分类模块获得每个槽位对应的logit_mc；(2)生成对话状态任务，同时将对话的表示，输入到对话状态的解码器使用束搜索方式生成对话状态对应的logit_gen；训练生成模型时将logit_mc分别与正确的槽位分类结果计算二元交叉熵损失、logit_gen和对话状态结果计算交叉熵损失，将二元交叉熵损失和交叉熵损失结合起来对生成模型进行训练优化。本发明使用单数据集训练即可，提高了对话状态生成的准确率，且训练效率高，资源利用率高。

技术领域

本发明属于计算机技术领域，涉及自然语言处理技术领域，特别对话状态追踪任务，为一种生成式对话状态追踪模型的实现方法及装置。

背景技术

任务型对话使得用户能够轻松的通过自然语言对话交互完成类似于预订票、预定餐厅和客服服务等任务。这些表面应用的背后，不难发现对话过程就是一个不断获取用户需求的过程，只有在对话过程中理解用户的需求才能维持一个持续和有效的对话。任务型对话系统利用对话状态追踪部件来追踪用户的需求，其中对话状态可以表示为若干个槽值对的形式，每一个槽值对就表示了用户的一个需求。对话状态追踪的结果对于下游任务影响很大，例如对话状态管理就依靠对话状态追踪输出来选择下一个系统行为。对话状态追踪是整个任务型对话系统中不可或缺的模块。在庞大的应用需求的驱动下，对话状态追踪也逐渐成为了一个热门的研究方向。

对话状态追踪任务复杂性推动了各种基于神经网络对话状态追踪方法的发展，现有的神经网络的方法的区别在于预测对话状态是否是从一个固定的槽值对集合(StaticOntology)还是从一个开放的槽值对集合(Dynamic Ontology)，据此可以将对话状态追踪的方法分为两类：静态本体模型和动态本体模型。

静态本体模型依赖于一个固定的本体来预测对话状态，这种方法基于整个槽值对是已经预定义好的假设，模型在这些预定义好的槽值对中预测。这些方法一般包括一个输入层将每个词嵌入表示成词向量，一个编码层将词向量编码出一个隐向量，一个输出层根据隐向量预测槽值。由于槽值对集合空间是预定义好的，在输出层中有两种方法：一种是直接分类模型，将输出层接到一个前向线性层直接分类到该槽值集合中一个；另外一种就是匹配模型，将每一个槽值对编码然后计算相似度。比如：SUMBT使用BERT通过一个槽-词的注意力机制来学习槽和对话语句之间的关系。STAR将槽的名称和槽值加入到槽位关系的建模过程。这些方法都是基于预定义好的静态本体，通过挖掘和融合信息模型最后对槽值对进行分类或者匹配。

动态本体对话状态追踪模型中采用生成模型。主要思想是将任务型对话多个任务数据集，如口语理解、对话状态追踪、对话策略学习、自然语言回复生成任务，统一为一种text-to-text的框架下，然后通过使用大规模Seq2Seq预训练模型，同时对大量多种格式的数据集进行微调，从而让多种格式的任务之间相互学习到共同的对话状态追踪，从而辅助在单个数据集上对话状态追踪实验效果。这种方法的代表是UBAR。

以上两类技术方法都在对话状态追踪上取得了很好的效果，然而也有其明显的缺点。如第一种方法中，静态本体对话状态追踪模型依靠固定的本体，只能产生预定的槽值对。第二种方法将多种数据集格式建模为统一的text-to-text格式，UBAR方法在面对特定的数据集使用需求时，可能存在大量并不能提供有效知识迁移效果甚至带来效果降低的其他数据集，资源利用率低。

发明内容

本发明要解决的问题是：现有技术中，对于对话状态追踪依赖于本体内预定的槽值对、或者多格式数据集训练困难效率低下的问题，以及现有预训练生成模型处理对话状态追踪的方法中槽位信息得不到充分利用的问题。