[发明专利]一种基于改进生成对抗网络的情感对话生成方法

说明书

一种基于改进生成对抗网络的情感对话生成方法属于自然语言处理下的对话系统领域，通过自注意力机制实现记忆矩阵之间的交互，增强信息间的远距离传递能量，从而提高模型的表达能力以及特征提取能力，解决现有模型存在的表达能力较弱，生成语句较短的问题。同时再设置多分类判别器，分别判别文本真假与情感类别，计算类别相对损失与情感信息损失两部分来反馈并更新生成器，用以提升情感信息的一致性，并使得回复生成语句的情感表达更加明显清晰。最后，本发明在生成器更新中使用迭代进化算法，通过分别控制温度参数与质量参数，选取进化温度最优方向的子代生成器完成生成任务。本发明实现了情感嵌入的兼顾回复质量与多样性的对话生成方法。

技术领域

本发明属于自然语言处理下的对话系统领域，尤其涉及改进生成对抗网络的情感对话生成方法。

背景技术

随着深度学习技术的创新和发展，人工智能领域迎来新的阶段，对话系统作为自然语言处理中的一大任务，其应用场景广泛并受到各行业高度关注。早期的对话系统针对限定领域进行具体任务的展开，此类任务需确保生成回复的逻辑准确性，而不考虑用户的情绪反馈，因此缺乏共情力。近年来，随着人机交互技术的成熟，人们开始从提高对话的语义质量转向加强对话过程的情感交互性。情感对话生成最初的研究是基于模板与规则的方式构建的，其中情感语句的使用基于模式的方式生成，设计者根据不同的场景设置不同的模板，但这种方式构建难度大不易拓展。之后神经网络模型广泛应用到生成式对话模型研究中，情感对话生成主要完成了以下任务：情感嵌入编码任务、回复情感控制任务以及情感回复解码任务，以此解决对话生成中的情感一致性，语义多样性等问题。情感一般会转化成两种维度的情绪信息，离散情绪模型是用标签的形式来表征情绪类别；维度情绪模型是将情绪映射到多维空间中，利用连续数字来描述情绪。目前存在的对话生成模型大多分为三类：基于Seq2Seq模型、基于GAN模型和基于VAE模型。

GAN模型在图像生成领域取得惊人成功，但是不能直接应用于文本生成，因为字符是离散的，生成模型的离散输出使得梯度更新难以从判别器模型传递到生成模型以指导生成器的序列生成。将GAN应用到文本生成领域是一大研究热门，相对于VAE模型在生成任务中存在的质量模糊问题，GAN在生成任务中可以提升结果的质量。研究尝试将强化学习引入GAN，将生成器建模为随机策略，通过直接执行梯度策略更新来绕开生成器的微分问题，并引入蒙特卡洛搜索保证确定下一个生成词的时候可以综合考虑当前得分和整个生成序列的得分情况。与本发明最接近的一项研究指定要生成的情感类型，通过设置多个生成器来生成不同情感类别的文本，然后设置多分类判别器，分别鉴别文本的真伪与情感信息的一致性，添加教师强迫机制，改善判别器的奖励无法直接有效的指导生成器生成更好的序列，从而间接导致对抗网络的训练崩塌问题，同时可以纠正情感表达的方向。

目前的情感对话生成模型还存在生成结果不稳定、缺乏多样性等问题，具体来说，现有模型的编码器解码器大多基于LSTM网络，在编码或解码过程中嵌入情感词向量，但是LSTM网络虽然增加了长距离信息传递能力，但是在传递中情感信息损失较大，会产生情感不一致问题，生成的对话内容较短，存在安全回复的几率更大。其次，现有的基于GAN的生成模型也存在对话语句多样性较差的情况，在对抗训练过程中，常出现梯度消失问题，使得每次输出相同的对话回复内容，虽然有实验证明利用条件变分编码为对话生成器的模型可以提高回复多样性，但是在提高多样性的同时也会损失语句质量，难以达到两者的平衡。