[发明专利]一种渐进式的对抗训练方法及装置

权利要求书

1.一种渐进式的对抗训练方法，其特征在于包括如下步骤：

设定预定迭代次数，针对每组训练数据的每次迭代过程：

计算当前训练数据对应迭代过程的近似局部最优扰动；

将所述近似局部最优扰动加入当前训练数据，作为下一轮迭代过程的训练数据进行迭代。

2.如权利要求1所述的对抗训练方法，其特征在于所述计算当前训练数据对应迭代过程的近似局部最优扰动，具体包括：

针对被训练的深度学习模型：

计算深度学习模型的损失函数对于输入层神经元的梯度；

对梯度进行标准化，并结合动量，得到对应近似局部最优扰动。

3.如权利要求2所述的对抗训练方法，其特征在于当前近似局部最优扰动的计算公式为：

其中，l()表示深度学习模型的损失函数，|| ||表示L2约束，ε代表目标扰动的总大小，k代表每批数据的迭代次数，β是动量的系数，s为当前训练数据，表示损失函数l()对近似局部最优扰动的梯度，θ为模型的参数。

4.如权利要求1所述的对抗训练方法，其特征在于将所述近似局部最优扰动加入当前训练数据，具体包括：

将当前近似局部最优扰动加入当前训练数据的输入数据，得到下一轮训练数据的输入数据。

5.如权利要求1所述的对抗训练方法，其特征在于将所述近似局部最优扰动加入当前训练数据，作为下一轮迭代过程的训练数据进行迭代，之后还包括：

计算下一轮迭代过程的近似局部最优扰动；

将下一轮迭代过程的近似局部最优扰动作为之后近似局部最优扰动，继续进行迭代。

6.如权利要求5所述的对抗训练方法，其特征在于所述下一轮迭代过程的近似局部最优扰动的计算公式为：

其中，l()表示深度学习模型的损失函数，|| ||表示L2约束，ε代表目标扰动的总大小，k代表每批数据的迭代次数，β是动量的系数，s为当前训练数据，表示损失函数l()对近似局部最优扰动的梯度，表示代理损失函数中的约束系数，θ为模型的参数。

7.一种渐进式的对抗训练装置，其特征在于包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行以下操作：

设定预定迭代次数，针对每组训练数据的每次迭代过程：

计算当前训练数据对应迭代过程的近似局部最优扰动；

将所述近似局部最优扰动加入当前训练数据，作为下一轮迭代过程的训练数据进行迭代。

8.如权利要求7所述的对抗训练装置，其特征在于当前近似局部最优扰动的计算公式为：

其中，l()表示深度学习模型的损失函数，|| ||表示L2约束，ε代表目标扰动的总大小，k代表每批数据的迭代次数，β是动量的系数，s为当前训练数据，表示损失函数l()对近似局部最优扰动的梯度，θ为模型的参数。

9.如权利要求7所述的对抗训练装置，其特征在于所述处理器读取所述存储器中的计算机程序，还用于执行以下操作：

计算下一轮迭代过程的近似局部最优扰动；

将下一轮迭代过程的近似局部最优扰动作为之后近似局部最优扰动，继续进行迭代。

10.如权利要求9所述的对抗训练装置，其特征在于所述下一轮迭代过程的近似局部最优扰动的计算公式为：

其中，l()表示深度学习模型的损失函数，|| ||表示L2约束，ε代表目标扰动的总大小，k代表每批数据的迭代次数，β是动量的系数，s为当前训练数据，表示损失函数l()对近似局部最优扰动的梯度，表示代理损失函数中的约束系数,θ为模型的参数。