[发明专利]基于保留动力学过程使用稀疏网络鲁棒地分类图片的方法

权利要求书

1.基于保留动力学过程使用稀疏网络鲁棒地分类图片的方法，其特征在于，包括以下步骤：

步骤1，寻找可对抗训练稀疏网络；

步骤2，对抗训练稀疏网络得到鲁棒分类器，完成图片分类。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：

步骤1-1，取两个结构相同的神经网络，一个作为密集网络，另一个额外维护一个表征稀疏性的二值掩码作为稀疏网络；

步骤1-2，根据神经正切核理论，并结合理论推导，通过让稀疏网络和与密集网络的混合神经正切核和网络输出逐渐靠近来保留密集网络的动力学过程；

步骤1-3，将密集网络与稀疏网络的混合神经正切核的差异以及对抗样本的初始网络输出差异的加权平均作为损失函数，通过梯度下降法更新稀疏网络参数，并周期性根据最新的稀疏网络的参数更新二值掩码。

3.根据权利要求2所述的方法，其特征在于，步骤1-1包括如下步骤：

二值掩码的确定与目标稀疏度、参数重要性判定指标和剪枝类型有关：

目标稀疏度，即最终稀疏网络中保留的参数数量与原始密集网络的总参数数量之比，也即二值掩码中元素1的数量占掩码中所有元素数量的比重；

参数重要性判定指标，即判定参数在整个稀疏网络中所起作用程度的指标，使用参数的绝对值大小作为参数重要性判定指标；

剪枝类型，依据是否每层的稀疏度都相同，分为逐层剪枝和全局剪枝。

4.根据权利要求3所述的方法，其特征在于，步骤1-2包括如下步骤：

根据神经正切核理论，对抗训练的动力学过程由如下微分方程表示：

其中d表示微分，t表示训练轮数，f_t表示t时刻的密集网络，X为原始输入图片，是对抗样本，η是学习率，是梯度算子，L是损失函数，是混合神经正切核，如下所示：

其中T代表转置。

5.根据权利要求4所述的方法，其特征在于，步骤1-2中，如果使用均方误差作为损失函数，则：

其中Y为图片的标签，f(X)为网络函数，则微分方程(1)变成如下形式：

其中θ_t是t时刻的网络参数。

6.根据权利要求5所述的方法，其特征在于，步骤1-2中，稀疏训练的动力学方程如下所示：

其中，表示稀疏网络的网络函数，为稀疏网络的对抗样本。

7.根据权利要求6所述的方法，其特征在于，步骤1-2中，目标函数设计如下：

其中min表示最小化，L_awt是目标函数，|| ||是2-范数，|| ||_F表示frobenious范数θ₀是密集网络的初始化参数，表示密集网络，⊙表示逐元素相乘，w是稀疏网络加掩码前的参数，m⊙w表示稀疏网络的参数，f_m⊙w表示稀疏网络，N为样本数量，γ²是混合神经正切核的权重，是密集网络在初始时刻的混合神经正切核，是稀疏网络的混合神经正切核。