[发明专利]基于生成式对抗网络的自然语言处理文本建模

说明书

提供了用于实施用于自然语言处理的生成式对抗网络(GAN)的机制。利用这些机制，GAN的生成器神经网络被配置为基于噪声向量输入生成n元语法袋输出，以及GAN的鉴别器神经网络被配置为接收BoN输入，其中BoN输入是来自生成器神经网络的BoN输出，或者是与自然语言文本的实际部分相关联的BoN输入。这些机制进一步配置GAN的鉴别器神经网络，以输出关于输入的BoN是来自自然语言文本的实际部分还是是生成器神经网络的BoN输出的概率的指示。此外，该机制基于反馈机制训练生成器神经网络和鉴别器神经网络，该反馈机制将来自鉴别器神经网络的输出指示与输入的BoN是来自自然语言文本的实际部分还是是生成器神经网络的BoN输出的指示进行比较。

技术领域

本申请总体上涉及一种改进的数据处理装置和方法，并且更具体地涉及提供用于在执行自然语言处理中使用的基于生成式对抗网络的文本模型以及用于使用基于经训练的生成式对抗网络的文本模型来提供问答能力的机制。

背景技术

自然语言处理是计算机科学、人工智能、以及计算语言学的领域，其涉及计算机和人类(自然)语言之间的交互，并且特别地涉及对计算机进行编程以有效地处理大型自然语言语料库。自然语言处理中的挑战通常涉及自然语言理解、自然语言生成(通常来自形式、机器可读的逻辑形式)、连接语言和机器感知、对话系统、或它们的一些组合。

通常用于自然语言处理的一种模型是词袋(bag-of-words，BOW)模型或连续词袋(continuous bag-of-words，CBOW)模型。词袋模型是用于自然语言处理和信息检索(information retrieval，IR)的简化表示，其中诸如句子或文档的文本被表示为其单词袋(多重集)，而忽略语法甚至忽略单词顺序，但保持多样性。词袋模型通常用于文档分类方法，其中每个单词的出现频率被用作用于训练分类器的特征。CBOW模型通过预测在给定上下文的情况下(例如，在上下文可以是单个单词或单词组的情况下)的单词概率来工作，例如，给在定单个上下文单词的情况下，CBOW预测单个目标单词。

生成式模型(generative model)学习输入变量x(所观测的数据值)和输出变量y(所确定的值)的联合概率分布p(x,y)。大多数无监督的生成式模型(诸如玻尔兹曼机(Boltzmann Machine)、深度信任网络(Deep Belief Network)等)需要复杂的采样器来训练生成式模型。然而，最近提出的生成式对抗网络(Generative Adversarial Network，GAN)技术重新利用来自博弈论中的最小/最大范式，以无监督的方式生成图像。GAN框架包括生成器和鉴别器，其中生成器充当对手并试图通过基于噪声输入产生合成图像来欺骗鉴别器，并且鉴别器试图将合成图像与真实图像区分开。

发明内容

提供本发明内容是为了以简化的形式介绍本文中在具体实施方式中进一步描述的构思选择。本发明内容不旨在标识所要求保护的主题的关键因素或基本特征，也不旨在用于限制所要求保护的主题的范围。

在一个说明性实施例中，提供了一种方法，在包括至少一个处理器和至少一个存储器的数据处理系统中，该至少一个存储器包括由至少一个处理器执行以配置处理器来实施用于自然语言处理的生成式对抗网络(GAN)的指令。该方法包括：配置GAN的生成器神经网络，以基于噪声向量输入生成n元语法袋(bag-of-ngrams，BoN)输出，以及配置GAN的鉴别器神经网络以接收BoN输入，其中BoN输入是来自生成器神经网络的BoN输出，或者是与自然语言文本的实际部分相关联的BoN输入。该方法进一步包括配置GAN的鉴别器神经网络，以输出关于输入的BoN是来自自然语言文本的实际部分还是是生成器神经网络的BoN输出的概率的指示。而且，该方法包括基于反馈机制训练生成器神经网络和鉴别器神经网络，该反馈机制将来自鉴别器神经网络的输出指示与输入的BoN是来自自然语言文本的实际部分还是是生成器神经网络的BoN输出的指示进行比较。