[发明专利]一种基于潜层特征相似度的对抗训练方法

权利要求书

1.一种基于潜层特征相似度的对抗训练方法，其特征在于包括以下步骤：

1)挑选一批纯净样本x_clean，通过迭代攻击算法T步，生成对抗样本x_adv；

2)将纯净样本x_clean和对抗样本x_adv同时输入神经网络f_θ中，分别计算纯净样本x_clean和对抗样本x_adv的潜层特征相似度矩阵，约束这两个潜层相似度矩阵的差异，进行潜层关系一致性对抗训练使对抗样本之间的关系和纯净样本之间的关系保持一致；用LFRC正则和普通的对抗训练计算梯度，对神经网络的参数θ进行更新；

3)整个数据集是否训练完毕，否则跳回步骤1)；

4)神经网络是否收敛，若不收敛，跳回步骤1)，否则输出神经网络f_θ，即得到训练后的具有对抗鲁棒性的神经网络。

2.如权利要求1所述一种基于潜层特征相似度的对抗训练方法，其特征在于在步骤2)中，所述分别计算纯净样本x_clean和对抗样本x_adv的潜层特征相似度矩阵，约束这两个潜层相似度矩阵的差异的具体步骤为：

(1)潜层特征相似度：

纯净样本x_clean，其l层的潜层特征为其中采用余弦相似度来度量样本x_i和样本x_j的相似度：

对步骤1)挑选的一批纯净样本x_clean中的每一对样本，计算他们之间的相似度，对于该批样本x_clean，得到其l层潜层特征的相似度矩阵：其中：

Q_i,j＝Q_j,i＝sim_i,j

同样的，得到对抗样本x_adv在同一层(l层)的潜层特征相似度矩阵

(2)相似度矩阵的距离度量：

给定对抗样本的潜层特征相似度矩阵Q(x_adv)和纯净样本的相似度矩阵(x_clean)，定义两个相似度矩阵的距离为：

使用φ＝exp进行距离的度量，即：

最小化L_LFRC使对抗样本的潜层特征相似度矩阵和纯净样本的相似度矩阵保持一致，即对抗样本之间的关系和纯净样本之间的关系保持一致；

(3)潜层关系一致性的对抗训练：

为了使得神经网络学到的正常样本和对抗样本具有相同的潜层特征关系，惩罚两者的差异性，即：

为了使神经网络更加鲁棒，提出潜层关系一致性的对抗训练方法，具体的定义如下：

其中，L是分类任务中常用的交叉熵损失函数，y_clean表示原始样本x_clean的真实标签，其中λ是平衡交叉熵损失和潜层特征关系一致性损失的参数；λ的取值范围是[0,1；当λ＝0时，潜层关系一致性对抗训练退化成普通的对抗训练。

3.如权利要求1所述一种基于潜层特征相似度的对抗训练方法，其特征在于在步骤2)中，潜层关系一致性对抗训练和普通的对抗训练是正交的，两者结合，以提升模型的鲁棒性。