[发明专利]一种基于对抗样本的深度学习模型安全风险评估方法

摘要

本发明提出了一种基于对抗样本的深度学习模型安全风险评估方法，属于计算机技术领域。所述方法通过原始样本图像x_c进行预处理和利用待测目标深度学习模型对原始样本图像x_c进行预测等步骤实现深度学习模型安全风险评估。所述方法能够实现对深度学习模型安全风险的有效评估。

主权项

1.一种基于对抗样本的深度学习模型安全风险评估方法，其特征在于，所述评估方法包括：步骤一：确定待测目标深度学习模型，并从原始样本集中抽取原始样本图像；步骤二：对原始样本图像x_c进行预处理，使所述原始样本图像x_c符合目标深度学习模型的输入格式要求；步骤三：利用待测目标深度学习模型，对原始样本图像x_c进行预测，获得所述原始样本图像x_c属于各个类别的概率分布；步骤四：将各个类别对应的概率按从大到小降序排列形成类别概率序列P_c，所述待测目标深度学习模型对所述原始样本图像x_c的预测结果为排在所述类别概率序列P_c中第一位的类别y_c；步骤五：根据所述原始样本图像x_c的真实类别标签y_t，检查所述待测目标深度学习模型是否预测正确；如果预测正确，则将预处理后的原始样本图像x_c再次输入待测目标深度学习模型，生成待测目标深度学习模型关于所述原始样本图像x_c的对抗样本图像x_a；如果所述待测目标深度学习模型预测错误，则所述预测准确度不符要求，需要继续训练，退出程序；步骤六：利用待测目标深度学习模型，对步骤五所述的对抗样本图像x_a进行预测，得到所述抗样本图像x_a属于各个类别的概率分布，并将各个类别对应的概率按从大到小降序排列形成对抗样本类别概率序列P_a，所述待测目标深度学习模型对抗样本图像x_a的预测结果为排在对抗样本类别概率序列P_a中的第一位的类别y_a；步骤七：计算待测目标深度学习模型对抗安全指数；利用待测目标深度学习模型对原始样本和对抗样本的预测概率分布，计算待测目标深度学习模型对抗安全指数，所述待测目标深度学习模型对抗安全指数即为模型安全风险评估结果；步骤八：输出所述模型安全风险评估结果，所述待测目标深度学习模型对抗安全指数越大，则所述待测目标深度学习模型越不安全，越容易被攻击和欺骗；按照待测目标深度学习模型对抗安全指数，根据阈值将待测目标深度学习模型安全风险分级，得到最终的模型安全情况，为待测目标深度学习模型的使用和安全评估提供参考和数值指标。