[发明专利]一种基于条件随机场结构化注意力网络的对话行为识别方法及系统

说明书

本发明公开了一种基于条件随机场结构化注意力网络的对话行为识别方法及系统，其中识别方法包括以下步骤：(1)结合记忆网络，将对话语义信息按照单词层、句子层、对话层进行分层推理，语义建模；(2)应用结构化注意力网络，根据对话内容之间的相关性，对对话内容进行结构小节划分；(3)将得到的结构化信息应用于线性条件随机场算法上，根据上下文语境预测当前对话行为。通过本发明，可以深度捕捉对话交互过程中的上下文信息，并能够做到动态划分对话内容的片段，通过将结构化注意力网络与条件随机场算法相结合，可以进一步提高对话行为识别准确度。

技术领域

本发明涉及自然语言处理对话系统领域，具体涉及一种基于条件随机场结构化注意力网络的对话行为识别方法及系统。

背景技术

近年来，随着人机交互技术的逐渐成熟，大量搭载着人机交互系统的产品走进千家万户。例如智能手机助手Siri，Cortana，智能音响小爱同学，天猫精灵等，此类产品的出现，让人们深切地感受到技术给人类带来的方便与享受。与此同时，人机交互对话系统也受到了广泛来自工业界和学术界研究者的关注。本发明的主要研究领域，是对话系统中不可或缺的技术之一——对话行为识别。对话行为识别的目的，是针对一段对话内容，在给定上下文对话内容前提下，预测当前对话的行为，从而可以识别说话者的意图。一个高效准确的对话行为识别模型，需要能够明确捕捉上下文语境信息，同时能够对对话内容进行状态追踪，从而明确当前对话说话者的意图，进行行为识别。对于机器来说，能够准确识别说话者的行为意图，即可相应生产准确的对话回复，这在人机交互对话系统中是一个重要的技术难点。

目前，主流的对话行为识别技术，主要从两方面进行研究。一种是将对话行为识别问题定义成一个文本多分类问题。例如Khanpour等人在2016年COLING会议上提出的论文《Dialogue Act Classifcation in Domain-Independent Conversations Using a DeepRecurrent Neural Network》提出的LSTM-Softmax算法，结合深度学习和软分类算法，将对话行为识别问题定义成一个简单的文本多分类问题。Blunsom等人在2013年ComputerScience期刊刊登的论文《Recurrent Convolutional Neural Networks for DiscourseCompositionality》提出的RCNN算法，结合分层卷积神经网络对句子模型和对话模型进行分层建模，提取深层语义信息后进行文本分类。季阳峰等人在2016年NAACL-HLT会议论文《ALatent Variable Recurrent Neural Network for Discourse Relation LanguageModels》中提出的DRLM-Conditional模型，同样考虑神经网络结构和概率图模型，将不同对话行为的句子按照概率最大化原则进行标签分类，达到对话行为识别目的。还有另一种方法，是将对话行为识别问题定义成了一个结构化时序标注问题，通常采用隐马尔科夫模型和条件随机场模型，可以考虑整个对话内容的上下文关联关系。该方法对问题的定义方式与文本多分类问题中每个对话行为独立存在的定义是完全不同的。结构化时序标注，更多地考虑当前这句话受到前面上下文语境的影响状态，每个当前状态都会受到前一个状态的影响。例如Kumar等人在康奈尔公开网站上发布的论文《Dialogue Act Sequence Labelingusing Hierarchical encoder with CRF》提出的Bi-LSTM-CRF模型，将简单的条件随机场算法放置于分层深度学习神经网络的最后一层输出层，从而进行对话行为识别。Stolcke等人在2006年Dialogue杂志上发表的论文《Dialogue Act Modeling for AutomaticTagging and Recognition of Conversation Speech》直接提出用简单文本特征提取方法与隐马尔科夫模型相结合，进行结构化序列预测。