[发明专利]一种基于强化双通道序列学习的对话回复生成方法及系统

说明书

本发明公开了一种基于强化双通道序列学习的对话回复生成方法及系统，本发明方法的步骤如下：(1)对上下文进行建模，获取上下文语义向量；(2)利用编码器将当前对话和上下文语义向量结合学习，得到当前对话向量以及编码器向量；(3)将上下文语义向量和当前对话向量输入解码器，得到第一通道对话回复草稿以及解码器向量；(4)将编码器向量与解码器向量以及第一通道对话回复草稿输入润饰器进行润饰，生成第二通道经过润饰的对话回复；(5)利用强化学习算法优化目标函数；(6)模型训练完毕，生成对话回复并输出。利用本发明，可以使对话生成模型对全局信息的把握更加深入，生成更加符合对话场景的有实质性内容的回复。

技术领域

本发明涉及自然语言处理对话系统领域，具体涉及一种基于强化双通道序列学习的对话回复生成方法及系统。

背景技术

近年来，我们目睹了人机交互系统的繁荣发展。伴随着大量公开可利用的网上在线对话语料库，对话系统受到了广泛来自工业界和学术界研究者的关注。诸如苹果siri助手，微软的cortana助手以及小冰聊天机器人等的出现，让人机交互系统走入了千家万户。本发明的主要研究领域，是对话系统中最核心的技术——对话回复生成。在给定对话上下文语境的前提下，模型被要求能够根据当前对话内容，自动生成符合正常聊天逻辑的对话回复。一个高效的对话回复生成模型，需要能够明确捕捉上下文语境信息，以及对当前对话的语义理解，并能够生成符合人类口语，且具有逻辑的合理回复。

目前，主流的对话生成技术，主要依赖Bahdanau等人在2014年Computer Science期刊上提出的编码器-解码器生成框架Attn-Seq2Seq《Neural Machine Translation byJointly Learning to Align and Translate》。即输入一句对话，框架先对这句对话进行编码，得到一个对该句话整体的表示向量。再利用解码器，以该向量作为输入，一个词一个词地生成另一句话，生成的这句话，可以看出就是机器生成的对话回复。众多的对话生成算法，都是基于该框架的基础上，做出自己的相应改进。2016年美国人工智能协会Association for the Advancement of Artificial Intelligence在会上收录的《Building end-to-end dialogue systems using generative hierarchical neuralnetwork models》一文中，提出HRED模型，通过将编码器进行多层结构的分解，从单词层到句子层再到对话层，使得编码器获取到的信息更加多元化。而2017年同样在美国人工智能协会上，HRED模型的作者Serban等人在《AHierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues》一文中提出HRED的改进版VHRED，通过引入变量结构参数，提高了对话生成的多样性。还有在2017年康奈尔大学Arxiv网站上的技术文章《Learning discourse-level diversity for neural dialog models usingconditional variational autoencoders.》中，公布了名为CVAE的模型，利用变分自动编码器方式捕捉对话多样性，从而仅仅利用贪心解码策略即可生成多样性对话回复。在众多编码器-解码器改进版的算法中，最为有效的方法还是结合强化学习来完成的。在2016年的第54届计算语言学协会Annual Meeting of the Association for ComputationalLinguistics上的一篇文章《Deep Reinforcement Learning for dialogue generation》提出利用三种奖励策略，提高对话系统的可扩展性的方法，名为RL-Seq2Seq。这些方法的提出，在一定程度上提高了对话回复生成的质量和多样性。