[发明专利]一种基于对抗样本的深度学习模型安全风险评估方法

权利要求书

1.一种基于对抗样本的深度学习模型安全风险评估方法，其特征在于，所述评估方法包括：

步骤一：确定待测目标深度学习模型，并从原始样本集中抽取原始样本图像；

步骤二：对原始样本图像x_c进行预处理，使所述原始样本图像x_c符合目标深度学习模型的输入格式要求；

步骤三：利用待测目标深度学习模型，对原始样本图像x_c进行预测，获得所述原始样本图像x_c属于各个类别的概率分布；

步骤四：将各个类别对应的概率按从大到小降序排列形成类别概率序列P_c，所述待测目标深度学习模型对所述原始样本图像x_c的预测结果为排在所述类别概率序列P_c中第一位的类别y_c；

步骤五：根据所述原始样本图像x_c的真实类别标签y_t，检查所述待测目标深度学习模型是否预测正确；如果预测正确，则将预处理后的原始样本图像x_c再次输入待测目标深度学习模型，生成待测目标深度学习模型关于所述原始样本图像x_c的对抗样本图像x_a；如果所述待测目标深度学习模型预测错误，则所述预测准确度不符要求，需要继续训练，退出程序；

步骤六：利用待测目标深度学习模型，对步骤五所述的对抗样本图像x_a进行预测，得到所述抗样本图像x_a属于各个类别的概率分布，并将各个类别对应的概率按从大到小降序排列形成对抗样本类别概率序列P_a，所述待测目标深度学习模型对抗样本图像x_a的预测结果为排在对抗样本类别概率序列P_a中的第一位的类别y_a；

步骤七：计算待测目标深度学习模型对抗安全指数；利用待测目标深度学习模型对原始样本和对抗样本的预测概率分布，计算待测目标深度学习模型对抗安全指数，所述待测目标深度学习模型对抗安全指数即为模型安全风险评估结果；

步骤八：输出所述模型安全风险评估结果，所述待测目标深度学习模型对抗安全指数越大，则所述待测目标深度学习模型越不安全，越容易被攻击和欺骗；按照待测目标深度学习模型对抗安全指数，根据阈值将待测目标深度学习模型安全风险分级，得到最终的模型安全情况，为待测目标深度学习模型的使用和安全评估提供参考和数值指标。

2.根据权利要求1所述深度学习模型安全风险评估方法，其特征在于，步骤二所述原始样本图像的预处理具体为：将原始图像的每个像素点，通过标准化模型进行标准化：

这样得到了深度神经网络的输入，即生成对抗样本的技术样本模板。

3.根据权利要求1所述深度学习模型安全风险评估方法，其特征在于，步骤五所述对抗样本图像x_a的生成过程为：

第一步：利用标准化模型对原始样本图像x_c进行预处理，使所述原始样本图像x_c符合目标深度学习模型的输入格式要求；

第二步：将所述原始样本图像x_c依据目标深度学习模型进行n次迭代，第n次迭代过程为：将样本x_c输入模型，进行一次前向传播，计算模型的损失函数J(·)；

第三步：利用模型：计算对抗干扰噪点并生成对抗样本；其中，为损失函数对x的偏导，即反向传播的梯度，ρⁿ为第n次迭代时依据梯度计算出的对抗干扰；∈表示缩放向量，控制添加的对抗干扰的大小；sign()是对梯度的约束；J(θ；xⁿ，y)表示深度神经网络M的损失函数；θ表示M的参数矩阵；xⁿ表示n次的输入样本；y表示样本真实类别；clip(·)表示截断函数。