[发明专利]一种生成式对话状态追踪模型的实现方法及装置

权利要求书

1.一种生成式对话状态追踪模型的实现方法，其特征是对于人机交互中任务型对话的对话语句，基于序列到序列模型的编码器Encoder、多标签分类器Multi-labelClassification和解码器Decoder构成对话状态追踪模型，

对话状态追踪模型训练时包括两个任务，首先将上一轮对话状态state_t-1、当前对话语句u、对话历史h输入编码器获得编码表示Enc，两个任务一个是槽位多标签分类任务，编码表示Enc输入多标签分类器输出槽位预测Pslot，另一个是生成对话状态任务，编码表示Enc输入解码器输出预测对话状态Pstate_t，训练时根据正确槽位信息计算槽位预测Pslot的二元交叉熵损失，根据正确对话状态state_t计算对话状态Pstate_t的交叉熵损失，将二元交叉熵损失和交叉熵损失结合起来，使用单数据集进行训练优化，得到生成式对话状态追踪模型；

在线推断时，只需使用编码器和解码器，以上一轮对话状态last state_t-1、当前对话语句utterance、对话历史history作为输入，以预测的槽位信息slot(y₁，……，y_n)和对话状态state_t(a₁，……，a_d)作为输出。

2.根据权利要求1所述的一种生成式对话状态追踪模型的实现方法，其特征是将上一轮对话状态state_t-1、当前对话语句u、对话历史h组成序列输入编码器，设编码器的编码输入序列W长度为m，表示为w₁，…，w_m，经过编码输出每一个词的表示h₁，…，h_m：

(h₁，...h_m)＝Encoder(w₁，...，w_m)

多标签分类器将编码输出每一个词的表示(h₁，…，h_m)经过一个池化操作获取整个句子的表示Sentence，然后接上一个全连接层Linear，设有n个槽位标签，得到每一个槽位出现的概率表示y₁，…，y_n，训练时采用二元交叉熵损失，多标签分类损失表示为L^MC，如下所示：

Sentence＝Pool(h₁，...，h_m)，

(y₁，...，y_n)＝LinearLayer(Sentence)

其中y_j⁽ⁱ⁾表示第i个词对应的第j个槽位标签类别的概率真实值，q为类别总数，表示多标签分类模块输出的槽位的概率，对应y₁，…，y_n。

3.根据权利要求1所述的一种生成式对话状态追踪模型的实现方法，其特征是解码器模块中，设正确的对话状态state_t包含d个词分别是a₁，…，a_d，训练时使用state_t作为生成目标以交叉熵损失计算对话状态生成损失L^Gen，

其中表示第k步解码在解码空间上概率分布，H^I分别表示解码器当前这一步的输出的隐向量、前面k-1步已经生成的隐向量及上一步输入隐向量，表示第k步解码中整个词表上词a_v的概率分布，L^Gen根据每一个生成的词的概率分布和正确生成结果的计算交叉熵。