[发明专利]基于阅读理解的多领域对话状态追踪方法和装置

权利要求书

1.一种基于阅读理解的多领域对话状态追踪方法，其特征在于，该方法包括：

接收当前用户对话文本；

基于对话历史、当前用户对话文本的插槽和对应的自然语言描述生成分别针对复制型插槽和分类型插槽的输入序列，送入XLNET编码器进行编码，分别获得复制型插槽编码和分类型插槽编码；复制型插槽的输入序列包括以下类型的输入信息：对话历史序列和当前用户对话文本的插槽对应的自然语言描述，每类输入信息之间用第一特殊标记进行分割，并且每个输入序列后面添加有第二特殊标记；分类型插槽的输入序列包括以下类型的输入信息：取值候选列表、对话历史序列和当前用户对话文本的插槽对应的自然语言描述，每类输入信息之间用第一特殊标记进行分割，并且每个输入序列后面添加有第二特殊标记；

利用神经网络得到复制型插槽和分类型插槽的槽值在输入序列中的起始与结束位置；

基于复制型插槽编码和分类型插槽编码利用分类器分别进行预测复制型插槽槽位状态和分类型插槽槽位状态预测，基于预测结果确定是否进行相应槽值的预测，在需要进行槽值的预测的情况下基于所述起始与结束位置确定相应槽值；

基于确定的槽值生成系统对话。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在接收的当前用户对话文本长度达到预定阈值的情况下，对所述当前用户对话文本进行预处理，所述预处理包括滑动窗口分段处理。

3.根据权利要求1所述的方法，其特征在于，

所述第一特殊标记为“[SEP]”标记，所述第二特殊标记为“[CLS]”界定符；

所述取值候选列表为：V＝[v₁,…,v_l,…,v_m,v_dontcare,v_unk]，其中，v_l表示对话提及的问题对应的答案的可能值列表，m为答案数，V_dontcare和v_unk分别表示对话提及了问题但用户不在乎答案的情况以及对话提及了问题但用户不知道相关答案的情况；

所述复制型插槽编码包括基于复制型插槽信息的上下文表征和复制型插槽基于标记符号token的表征；

所述分类型插槽编码包括基于分类型插槽信息的上下文表征和分类型插槽基于标记符号token的表征。

4.根据权利要求3所述的方法，其特征在于，所述基于复制型插槽编码和分类型插槽编码利用分类器分别进行复制型插槽槽位状态和分类型插槽槽位状态的预测，包括复制型插槽槽位状态预测步骤和分类型插槽槽位状态预测步骤；

所述复制型插槽槽位状态预测步骤基于如下公式将所述基于复制型插槽信息的上下文表征利用三路分类器进行状态映射，得到复制型插槽在三个状态上的概率分布，基于得到的概率分布预测复制型插槽的槽位状态：

P_non-gate＝softmax(W_non-gate*g([r_cls,r_start])^T)；

其中，P_non-gate表示复制型插槽在各个状态上的概率分布，W_non-gate为可训练的模型参数，g([r_cls,r_start])^T为线性变换函数，该线性变换函数符合以下公式：

g(x)＝tanh(W*x^T+b)；

其中，W、b是可训练的模型参数；

所述分类型插槽槽位状态预测步骤基于如下公式将所述基于分类型插槽信息的上下文表征利用二路分类器进行状态映射，得到分类型插槽在两个状态上的概率分布，基于得到的概率分布预测分类型插槽的槽位状态：

其中，P_{have_ans}表示分类型插槽在各个状态上的概率分布，W_{have_ans}为可训练的模型参数，为线性变换函数，该线性变换函数符合以下公式：

g(x)＝tanh(W*x^T+b)；

其中，W、b是可训练的模型参数。