[发明专利]一种基于随机扰动网络的开放性答案生成方法

说明书

本方面公开一种基于随机扰动网络的开放性答案生成方法，本方法在训练答案生成网络时，同时训练一个产生随机扰动、多模态扰动层集成的扰动网络，所述扰动网络在前向传播过程中对输入信息进行修正，使得任意两次输入的语义编码都不是完全相同的，并且答案生成网络与扰动网络协同训练，扰动网络不会使答案生成模型生成不合理的文本；基于此，对于任意两次输入，本方法给出不完全相同但都正确的答案。本方法在不同的时间、地点、情境下可以生成多样化的答案，这样的能力与人类的表现更为相近，也使得模型具有更好的环境适应性和更高的智能化程度。

技术领域

本发明涉及人工智能领域，尤其涉及人工智能自然语言处理领域，具体是一种基于随机扰动网络的开放性答案生成方法。

背景技术

文本生成的模型在自然语言处理的多个任务中都是核心技术，比如文章摘要、机器翻译、文章写作、文档问答、开放域对话、图文描述等等，与检索式和抽取式的模型相比，生成式的模型具有更高的通用性，对于答案超出知识库原文范围的问题，生成式模型是唯一选择。但目前的文本生成模型还不够成熟，面临诸多非常严重的问题，其中之一就是生成的答案没有开放性。这是因为以往的模型在推理阶段参数都是完全固化的，对于相同的输入，必然产生不变的输出。

专利《自然语言问题的答案生成方法、装置及存储介质》(公开号CN110321559A)通过匹配意图和识别实体获取答案节点，并根据预先配置好的规则填充答案，属于检索式的问答模型。专利《一种基于句法分析的问答系统答案生成方法》(公开号CN110955768A)通过对问题信息和文本信息的相似度匹配选取答案所在篇章，并根据句法树对篇章进行分解，选取概率最大的多个短语组合为最终答案，属于抽取式的问答模型。专利《文本生成方法、装置、计算机设备及介质》(公开号CN109885667A)在传统生成式模型的基础上增加了判别器模块，通过判别器和生成器之间的对抗训练，提升了文本生成模型的构建效率和模型准确率。人类在进行翻译、写作、摘要、问答、对话等活动的时候，不同的人往往会给出不同的答案，即便是同一个人在不同的情境下，也可能给出不同的答案，对于这些活动来说，答案不是标准的，而是开放性的。已有专利中提出的答案生成模型对于相同的输入都只会生成一种标准答案，对于开放性的问题无法产生多样化的答案。

发明内容

为了使模型给出的答案具有开放性，本发明提供了一种基于随机扰动网络的开放性答案生成方法，本方法针对特定的任务，在训练基于预训练语言模型的答案生成网络时，同时训练一个产生随机扰动的神经网络，该网络在前向传播过程中会对输入信息进行修正，使得任意两次输入的语义编码都不是完全相同的，由于两个网络是协同训练的，该扰动不会使模型生成不合理的文本，基于此，对于任意两次输入，模型最终能够给出不完全相同但都正确的答案。与已有的文本答案生成方法相比，本发明中的方法在不同的时间、地点、情境下可以生成多样化的答案，这样的能力与人类的表现更为相近，也使得模型具有更好的环境适应性和更高的智能化程度。

本方法包括多模态扰动模块集成的扰动网络、适应多任务输入的自注意力编码网络和预训练语言模型监督的自回归解码网络，在推理阶段，对于任意两次输入，模型能够在随机扰动网络的作用下生成多样化的文本答案。

为了解决所述技术问题，本发明采用的技术方案是：

针对文档问答、文章摘要、文章写作、看图作文、多轮对话、文本翻译等任务，首先进行数据清洗、数据标准化等预处理工作，将原始输入数据转化为纯净、标准的json格式数据。

自然语言处理模型中传统的词典只对字符进行索引，即为每个文字符号赋予一个索引，该索引代表了该符号的one-hot向量。为了对图像、文本等多模态的数据进行统一表征，区别于输出层使用的传统文字符号词典，本方法提出了多模态的扩展词典，扩展词典中的词汇除了包括传统的文字符号，还包括由M种颜色和N种亮度等级构成的M*N种像素集合。