[发明专利]一种多轮对话装置及方法

说明书

本发明公开一种多轮对话装置及方法，其中的一种多轮对话装置，包括数据处理模块、表征模块、特征抽取模块、问答特征相似度模块，目标函数模块，其中：数据处理模块用以将历史聊天的多轮对话数据进行解析，得到输入数据；表征模块用以对输入数据进行映射，得到句向量集；特征抽取模块用以对句向量集进行分析；问答特征相似度模块用以句向量集进行处理，得到评分矩阵；目标函数模块用以根据评分矩阵，设置合适多轮对话装置的目标函数。本发明在样本量不大的条件下，多轮对话装置也能够学习到好的上下文特征，从而能够更加准确预测用户的问题并提供答案，而且网络结构简单，实现了轻量级的内存和节能模型。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种多轮对话装置及方法。

背景技术

通用的预训语言模型，如bert模型，为一种多层双向transformer网络结构，在海量的语料的基础上进行自监督学习，通过bert模型得到的特征表示大幅提高了自然语言处理任务的准确率，但bert模型的每一层都做自监督，导致其整体复杂度为O(n2)，需要大量的机器资源。

在多轮且具有上下文关联的聊天系统中，bert模型并不理想，除了计算量大，速度慢，训练成本高以外，其最大的缺陷是因为bert模型是基于通用语料训练的模型，因为通用语料学习到的语义特征缺乏强相关的上下文对话信息，且语料大都基于文档，缺乏对话数据，因此把bert模型用于多轮对话并不能提升机器人的自然语言理解能力和意图判断的准确率。尤其是在口语化，特定场景或者专业的行业知识领域里，具有上下句语义关联的多轮聊天系统中，表达力有限，准确率不高。

发明内容

本发明为解决现有技术中存在的技术问题，提出一种多轮对话装置及方法。

为了实现以上目的，本发明提出了一种多轮对话装置，包括数据处理模块、表征模块、特征抽取模块、问答特征相似度模块，目标函数模块，其中：

数据处理模块用以将历史聊天的多轮对话数据进行解析，得到输入数据：上文对话文本数据、问题数据以及答案数据；

表征模块用以对输入数据进行映射，得到句向量集；

特征抽取模块用以对句向量集进行分析，得到上文特征向量、问题特征向量以及答案特征向量；

问答特征相似度模块用以对所述上文特征向量、问题特征向量以及答案特征向量进行处理，得到评分矩阵；

目标函数模块用以根据评分矩阵，设置合适多轮对话装置的目标函数。

进一步地，所述表征模块对输入数据进行映射包括：

对上文对话文本数据、问题数据以及答案数据的每个句子进行分字；

将每个字的位置用ID表示；

把每个ID用N维的随机向量表示；

得到句向量集。

进一步地，问答特征相似度模块用以把所述特征向量进行处理，得到评分矩阵包括：

将上文特征向量和问题特征向量进行拼接求和；

将答案特征向量和拼接后得到的特征进行矩阵相乘得到评分矩阵。

进一步地，目标函数模块使用softmax作为激活函数、损失函数为交叉熵进行求导获得目标函数。

进一步地，特征抽取模块为由若干个双编码器模块堆叠而成，其中，每个双编码器模块的结构为依次连接的自注意力层、归一化层、前馈神经网络层以及归一化层。

进一步地，所述归一化层为输出向量经过残差连接与输入向量相加残差连接之后再进行归一化处理。

本发明还公开一种多轮对话方法，应用于多轮对话装置，包括：