[发明专利]一种基于对抗训练的编码文本生成方法、装置及电子设备

说明书

本发明公开了一种基于对抗训练的编码文本生成方法、装置及电子设备，方法包括：预先构建对抗生成网络；对所述对抗生成网络进行优化，生成优化后的对抗生成网络，所述优化后的对抗生成网络中每次训练中的丢弃掩码不固定；根据对抗生成网络对预训练模型进行对抗训练，生成目标预训练模型；将待处理的债券信息输入目标预训练模型，生成编码文本。本发明实施例不再采用固定的dropout mask，而是采用概率分布衡量指标或者均方误差等约束两次不同dropout的模型输出差异，使得dropout能够发挥其本身的作用，也能使得两次不同dropout的模型输出尽量保持一致，提高了预训练模型对文本的理解能力，提高文本编码效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于对抗训练的编码文本生成方法、装置及电子设备。

背景技术

在深度学习领域，对抗训练是一种有效提高模型鲁棒性的方法。对抗训练方法最早是用在计算机视觉领域。GAN是对抗训练中比较成功的例子，其通过生成网络生成能够欺骗判别网络的样本，而判别网络则判别生成网络的样本的真实性，使得生成网络生成的样本不能欺骗判别网络。在判别网络和生成网络的相互作用下，不断地提升判别网络的识别能力，这就是对抗训练的思想。在自然语言处理领域，对抗训练主要是对embedding进行扰动，产生对抗样本，使得模型对embedding的语义理解更加鲁棒。

现有的用于自然语言处理领域的对抗训练方法有很多，比如FGM、PGD、FreeAT，YOPO，FreeLB等等。FGM是每个方向都走相同的一步，寻找梯度下降最快的方向。但FGM的缺点是只走一步是很难找到约束内的最优点的。因此在计算对抗扰动时采用分布计算的方法显然是一个不错的改进方法，这正是PGD的创新点之一，并且当对抗扰动超过了扰动半径后则映射回到最大扰动球面上。FreeLB认为PGD在更新扰动时只利用最后一步的梯度做更新是不合理的，每一步的梯度对参数的更新都应该有影响，而不应该累积到最后一步才进行更新。因此FreeLB则对每一步得到的梯度进行加权平均求和，用这个梯度进行更新模型的参数。此外FreeLB在学习扰动时不再是对模型参数进行求梯度，而是对扰动进行求梯度。YOPO的创新点在于提出了两种对抗正则损失以及在优化网络参数时每一层之间是解耦的，这两个创新点提高了模型的泛化能力以及提高对抗训练速度。

现有的对抗训练方法在自然语言处理取得了不错的效果，但是其应用到预训练模型中存在一个问题，即在BERT等预训练模型本质上是一个两段式的NLP模型。第一个阶段叫做：Pre-training，跟WordEmbedding类似，利用现有无标记的语料训练一个语言模型。第二个阶段叫做：Fine-tuning，利用预训练好的语言模型，完成具体的NLP下游任务。pre-training的训练成本很大，一般直接使用google训练好的模型，而fine-tuning成本相对较少，其中finetuning阶段会采用dropout，其中dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。不同的dropout会使得网络每一层的结构都不相同，得到的输入梯度有很多的噪声。因此为了解决这个问题，现有的对抗训练方法会在每步梯度上升时固定dropout mask。固定dropout mask这个方法一定程度上确实缓解了输入梯度的噪声，但是却使得dropout失去了本身的意义，固定dropoutmask相当于不再使用了dropout，降低了模型的鲁棒性。