[发明专利]一种基于记忆网络的多轮对话下的意图识别方法

说明书

本发明公开了一种基于记忆网络的多轮对话下的意图识别方法，主要采用循环神经网络，记忆网络和注意力机制结合的神经网络模型。本发明首先将语言数学化处理，然后利用循环神经网络对每轮的对话进行编码，得到对话的编码向量，再利用外部存储器保存历史对话信息，通过注意力机制从记忆中选择与该轮对话意图相关的历史对话信息，从而得到历史信息的编码向量，对于当前的对话编码向量和历史的对话编码向量，利用一个控制门，判断是否在分类器中引入历史信息，得到最终用于分类的编码信息，利用多标签的分类器，得到每轮对话的意图。

技术领域

本发明属于自然语言处理的对话领域，涉及一种记忆网络的神经网络学习方法。

背景技术

随着人们生活水平不断的提高，人工智能设备的出现其实满足了大众心理的“小刚需”，如人工智能设备之一的智能音响。通过语音控制播放音乐，或者躺在冬天的被窝里关灯等等智能服务，其都在一定程度上大大的便捷了人们的生活。2017年国内智能音箱市场的爆发式增长惊人，2017年的销售数据足以表明智能音箱在国内的受欢迎程度。这一年是智能音箱市场增长最快的一年，不少品牌通过自身的软件或者硬件优势快速赢得市场。当然成功的背后，这个市场并非看起来那么顺利，还有很多技术还未成熟。单轮对话下的任务处理还存在诸多的瓶颈，而多轮对话下的服务和需要克服的问题还没有引起广大研究人员的重视。

对话系统最早被提出是在1950年，艾伦·图灵(Alan Turing)提出了一种方法来测试一台机器的智能水平，这个机器被普遍称为图灵测试或模仿游戏。在图灵测试中，一台机器被要求与人交谈。机器的智能水平取决于机器如何能够欺骗人类评估者，使其相信机器是基于文本响应的人类。目前主要有以下三种对话系统：1)闲聊系统2)基于框架的目标导向系统3)交互式问答系统(QA)。由于人类交流时，酝酿语言的过程较短，句法结构比较简单，多用短句和省略形式等习惯，对话的内容很难单轮对话中交代清楚。这就导致上述的三大对话系统都必须满足多轮对话的刚性需要。

记忆网络是一类神经网络模型，可以通过操作内存中的内容(存储、取回、过滤和重用)来进行自然语言推理。记忆网络已被成功地应用于很多自然语言任务中了，例如问答系统，语言建模以及对话。记忆网络中的存储器部分可以嵌入长期记忆(例如，关于真实世界的常识)和短期上下文(例如，最近的几段对话)。而短期上下文的记忆可以采用内部记忆方式和外部记忆方式。循环神经网络的记忆是内部记忆方式，其依靠rnnCell或者lstmCell实现，但是rnn和lstm的记忆能力实在有限，最多也就记忆十几个时间步长。而外部的记忆方式可以任意增加加入模型的知识量，同时对模型本身做出最小限度改变。

发明内容

技术问题：本发明提供一种可以引入历史信息实现多轮对话的意图识别，也考虑拒绝历史信息的引入实现单轮对话的意图识别，实现合理对话场景下意图分类的基于记忆网络的多轮对话下的意图识别方法，在考虑多轮对话的意图识别的同时，兼顾单轮对话的意图识别。

技术方案：本发明的基于记忆网络的多轮对话下的意图识别方法，包括以下步骤：

A、利用公开文本数据库提供的接口获取用于训练词向量模型的语料库，对所述语料库经过文本预处理后，训练词向量模型，得到文本数据中词语对应的词向量集合V，每个词向量表示为V_i，所述词向量模型采用共现矩阵和GloVe模型学习词向量，具体过程如下：

1)基于语料库构建词的共现矩阵X，：使用窗口将整个语料库遍历一遍，将整个语料库中，单词i和单词j共同出现在一个窗口中的次数作为共现矩阵X的元素X_ij，即可得到共现矩阵X；

2)根据下式构建训练词向量模型的目标函数：