[发明专利]实时生成对抗样本的深度学习训练数据增广方法、装置、电子设备及介质

权利要求书

1.一种实时生成对抗样本的深度学习训练数据增广方法，其特征在于，包括以下步骤：

S1：将图像样本与随机噪声输入至对抗样本训练网络，所述对抗样本训练网络生成对抗样本；

S2：将对抗样本输入至经由正常训练过程训练好的深度学习网络中；

S3：根据深度学习网络的输出和标签计算第一损失函数，根据深度学习网络的输出和经标签混淆后的标签计算第二损失函数；

S4：利用对抗优化器对第二损失函数进行梯度回传和对抗样本训练网络参数更新操作，同时对第一损失函数进行一次梯度回传操作并进行记录与累加；

S5：重复步骤S1至S4，直至对抗样本训练网络生成的对抗样本为可用于优化深度学习网络的数据增广图片或深度学习网络充分学习到该图像样本中物体的特征；

S6：由训练优化器将第一损失函数梯度回传时记录与累加得到的参数集合A对深度学习网络进行一次参数更新；

S7：重复步骤S1至S6，当训练集中每一图像样本至少重复上述步骤一次后，判断是否达到终止训练条件；

S8：达到终止训练条件，终止训练；

步骤S5中直至对抗样本训练网络生成的对抗样本为可用于优化深度学习网络的数据增广图片或深度学习网络充分学习到该图像样本中物体的特征，具体为：

若原始图像经过对抗样本训练网络后生成的对抗样本，经过深度学习网络以后被误识别为经标签混淆后的标签，则表示生成的对抗样本为可用于优化深度学习网络的数据增广图片；

若重复了一定次数以后，第二损失函数不再发生显著变化，则表示深度学习网络充分学习到该图像样本中物体的特征。

2.根据权利要求1所述的实时生成对抗样本的深度学习训练数据增广方法，其特征在于，所述对抗样本训练网络设置于所述深度学习网络的输入层前面，为一个对抗参数层，所述对抗参数层的形状为B x H x W x C，其中B为训练的一个批次的图像数量，H与W对应输入的训练图像的高和宽，C为输入图像的通道数，在所述对抗参数层中，输入图像首先与对抗参数层参数相加，输出截取0至255的值，再经过归一化，转为浮点数后输出，此时对抗参数层的参数集合为G。

3.根据权利要求2所述的实时生成对抗样本的深度学习训练数据增广方法，其特征在于，步骤S3中根据深度学习网络的输出和经标签混淆后的标签计算第二损失函数中，根据深度学习网络的训练任务不同，标签混淆的操作方法包括：

对于单分类任务将one-hot做随机循环移位操作；

对于多分类任务直接对multi-hot向量取反，或者全部置零；

对于分割任务将标签掩码置零，或者做随机类别变换；

对于文本识别任务将其中的字符变成形状相似的字符。

4.根据权利要求3所述的实时生成对抗样本的深度学习训练数据增广方法，其特征在于，步骤S4中优化对抗器采用SGD并配以0动量。

5.根据权利要求4所述的实时生成对抗样本的深度学习训练数据增广方法，其特征在于，步骤S7中训练集中每一图像样本至少重复上述步骤一次，应使简单样本出现的概率小，而难样本出现的概率大，所述简单样本指经过网络前向后，输出的结果极为接近标签，对网络训练起不到较大作用的样本，所述难样本为经过数个周期的训练后，网络仍然不能很好识别的样本。

6.根据权利要求5所述的实时生成对抗样本的深度学习训练数据增广方法，其特征在于，所述步骤S7中终止训练条件，具体包括：

损失函数长时间不降低；

验证集准确率长时间无明显提升；

设定固定的数个周期以后停止；

每个周期结束时，对验证集中的每张图像做一次对抗扰动和识别，统计其中简单样本的比例，当简单样本比例达到指定条件时，终止训练；

验证集中的样本对抗后输出到屏幕显示，当人工观察发现对抗样本在人看来无法识别时，终止训练。