[发明专利]一种基于深度网络学习的任务型对话系统

摘要

本发明提供的基于深度网络学习的任务型对话系统，提出了两个新的处理流程：单词‑字符级循环网络与神经网络选择。分层混合代码网络超过了其他模型并取得了最先进的性能，无论在每句对话的正确率还是每个完整对话的正确率上。分层混合代码网络能超越混合代码网络主要归功于它在编码句子向量的能力，以及识别未登录词上的优越性。混合代码网络的词袋和平均词向量缺乏词序信息，而这正是单词‑字符级循环网络能做到的。

主权项

1.一种基于深度网络学习的任务型对话系统，其特征在于，包括语言处理模块、循环神经网络、分类层模块、答案生成模块、领域知识模块和神经网络选择层模块，所述的语言处理模块包括单词‑字符级循环网络，领域知识模块包括人工定制的回答模板；所述的系统工作流程如下步骤：S10.在语言理解过程，使用单词‑字符级循环网络，即Word‑CharacterRNN编码用户的输入Q_t，以及对话系统最后的回答A_t，分别获取用户最近的输入和系统最后回答所对应的句子向量O_q(t)与O_a(t)；编码后，将用户最近输入和系统最后回答所对应的句子向量进行向量拼接，共同作为循环神经网络的输入：O_q(t)＝WordCharacter RNN(Qt)O_a(t)＝WordCharacter RNN(A_t)xt＝[O_q(t)；O_a(t)]S20.循环神经网络输入步骤S10生成的句子向量拼接x_t，循环神经网络通过对句子向量和上一个时间步的对话状态向量h_t‑1进行矩阵乘法后，得到循环神经网络内部记录的当前时间步的对话状态向量h_t并输出，所述的循环神经网络输出的对话状态向量h_t将输出到分类层模块和神经网络选择层模块中：h_t＝RNN(h_t‑1,x_t)S30.在分类层模块中，将对话状态向量h_t作矩阵运算，获取多个人工定制的回答模板各自的得分；将这些得分分数做e为底的幂运算，再归一化处理作为各个模板的概率分布p_t：p_t＝softmax(W_s1h_t)S40.神经网络选择层模块接受循环神经网络输出的对话状态向量h_t，结合代码和神经网络的能力作选择，输出从数据库搜索推荐目标时各种动作的概率分布p_t：p_t＝softmax(W_s2h_t)S50.答案生成模块通过给定的概率分布，选出最符合当前语境的回答模板，将S30与S40的概率分布对模板相应的位置进行替换，构建完整的回答，作为对话系统的回答输出。