[发明专利]一种文本对抗训练方法

说明书

本发明公开一种文本对抗训练方法，具体的方法包括：数据预处理、构建基础命名实体识别模型、在进行模型训练时加入对抗训练和训练模型直至模型收敛，其中在加入对抗训练时包括：在进行反向传播之后，不立刻进行参数更新，开始对embedd i ng层进行对抗训练、备份embedd i ng层参数data和梯度grad、使用正态分布随机初始化扰动de l ta，形状同embedd i ng一样、修改扰动de l ta＝de l ta+grad*a l pha，a l pha为超参数、对de l ta进行l 2标准化、重复修改扰动和标准化步骤K次、在原有参数上加入扰动，data`＝data+de l ta、重新进行反向传播，计算梯度grad`、还原参数data；本发明与现有技术相比，操作简单，训练速度和收敛速度快，由原有K+1时间变成了1+1，且整体效果好，效果不低于smart效果。

技术领域

本发明涉及信息技术领域，具体来说是一种文本对抗训练方法。

背景技术

对抗训练是一种引入噪声的训练方式，可以对参数进行正则化，提升模型鲁棒性和泛化能力。

对抗训练的假设是：给输入加上扰动之后，输出分布式和原Y的分布一致；在对抗训练中关键的是需要找到对抗样本，通常是对原始的输入添加一定的扰动来构造，然后放给模型训练，这样模型就有了识别对抗样本的能力，其中的关键技术在于如果构造扰动，使得模型在不同的攻击样本中均能够具备较强的识别性。

对抗训练，简单来说，就是在原始输入样本上加上一个扰动得到对抗样本后，用其进行训练。

2018年Madry针对对抗学习定义了一个Min-Max的公式，即

该公式有两部分：

第一部分为内部损失函数的最大化，对抗的思想即是往增大损失的方向增加扰动，S SS定义为扰动空间，此时我们的目的就是求得让判断失误最多的扰动量，即最佳的攻击参数。

第二部分为外部风险的最小化，我们希望的是给输入加上扰动后，输出分布还能够和原分布相同，此时我们的目的就是在针对上述攻击的情况下找到最鲁邦的模型参数。

现有的技术方案包括：FGM、PGD、FreeAT、YOPO、FreeLB、SMART等，下面对其进行简单的介绍：

FGM：最原始、朴素的对抗训练方式，原理简单，效果直观，处理逻辑如下：

PGD：在FGM基础上，通过多次小步加上约束空间，提升扰动质量，处理逻辑如下：

FreeAT、YOPO、FreeLB：通过结合反向传播链式法则，在其效率上进行优化，而SMART：在其扰动上进行优化：

通过对比上述几种技术方案，SMART发挥最为稳定，伴随最佳效果，但同时其速度也最慢，现有技术存在难以平衡速度和精度等问题。

发明内容

本发明的目的在于解决现有技术的不足，提供一种文本对抗训练方法。

为了实现上述目的，设计一种文本对抗训练方法，所述方法具体如下：

S1.数据预处理；

S2.构建基础命名实体识别模型；

S3.在进行模型训练时加入对抗训练；

S31.在进行反向传播之后，不立刻进行参数更新，开始对embedding层进行对抗训练；

S32.备份embedding层参数data和梯度grad；