[发明专利]一种基于对话历史建模的多轮对话生成方法及装置

权利要求书

1.一种基于对话历史建模的多轮对话生成方法，其特征在于包括：

通过神经网络，获得对话历史中每个语句的初始词级语义表示；

利用对话历史中各语句之间的显式回复关系对对话历史的语义表示过程进行优化，获取近邻感知的对话历史语义表示；

将对话历史中的最新语句定义为查询语句，先利用自注意力机制捕捉查询语句中词之间的关系，然后利用面向对话历史的注意力机制使查询语句自动从对话历史中吸收相关语义信息，得到对话历史增强的查询语义表示；

根据近邻感知的对话历史语义表示、对话历史增强的查询语义表示，通过神经网络逐词生成回复语句；

所述利用对话历史中各语句之间的显式回复关系对对话历史的语义表示过程进行优化具体包括：给定包含M条语句的多轮对话{U₁,...,U_M}，M≥2，其中最后一条最新语句U_M定义为查询语句，前M-1条语句序列U_＜M＝{U₁,...,U_M-1}定义为对话历史；

对于U_m中的任一词w_n,m，n∈[1,N_m]，通过前向Transformer编码器将其进行如下重编码：

其中，q，k，v分别为Transformer编码器中注意力机制对应的查询向量、键向量和值向量；为词w_n,m最终的向量表示；N_m为多轮对话{U₁,...,U_M}中任一语句U_m，m∈[1,M]所包含词的个数；

对于第一个语句U₁，设置Transformer编码器的注意力机制变为自注意力机制；

同理，对于后向Transformer编码器重编码过程为：

以上和分别表示词w_n,m，n∈[1,N_m]经过和重编码后的向量表示；通过特征维度的向量拼接操作z_n,m为词w_n,m最终的重编码向量，它不仅包含词w_n,m自身的语义特征，还纳入了邻居语句中相关的语义特征；

经过以上重编码过程，语句U_m被重编码为将其每个词对应的重编码向量进行相加，得到U_m的语句级别的表示，即

通过双向门控循环神经网络对对话历史的重编码向量进行轮次方向上的顺序整合，过程如下：

其中为U_m，m∈[1,M-1]经过重编码后的向量表示；

被定义为对话历史U_＜M＝{U₁,...,U_M-1}的近邻语义感知的特征表示。

2.根据权利要求1所述基于对话历史建模的多轮对话生成方法，其特征在于：所述获得对话历史中每个语句的初始词级语义表示通过双向门控循环神经网络实现；所述生成回复语句通过单向门控循环神经网络实现。

3.根据权利要求1所述基于对话历史建模的多轮对话生成方法，所述对对话历史的语义表示过程进行优化，其特征在于：对对话历史中的任一历史语句进行重编码，使之能够保留其相邻历史语句的语义信息，通过轮次方向上的顺序整合进而获取近邻感知的对话历史语义表示。