[发明专利]一种基于对抗样本的深度学习模型安全风险评估方法

说明书

本发明提出了一种基于对抗样本的深度学习模型安全风险评估方法，属于计算机技术领域。所述方法通过原始样本图像x_c进行预处理和利用待测目标深度学习模型对原始样本图像x_c进行预测等步骤实现深度学习模型安全风险评估。所述方法能够实现对深度学习模型安全风险的有效评估。

技术领域

本发明涉及一种基于对抗样本的深度学习模型安全风险评估方法，属于计算机技术领域。

背景技术

目前人工智能相关技术应用十分广泛。其中基于深度学习模型的图像识别系统已经在包括自动驾驶、智慧医疗等多个重要领域投入实际使用。但深度学习模型本身存在严重的安全风险，攻击者可以利用对抗样本，在不知道模型本身结构信息的条件下，对图像识别深度学习模型进行攻击和欺骗，使这些模型发生误判，从而可能造成严重的安全事故。攻击中所使用的对抗样本，是一种在原始样本图像上加入精心计算的微小干扰得到的样本图像，这种图像人类肉眼观察与原始图像没有太大差别，但会使深度学习模型得到与原始图像完全不同的预测结果。

尽管当前已有多种利用对抗样本，对深度学习模型进行攻击和测试的算法，但并没有一种方法能够直观、定量地对深度学习模型的安全性进行评估。

发明内容

本发明为了解决现有技术中缺乏深度学习模型的安全性评估技术的问题，提出了一种基于对抗样本的深度学习模型安全风险评估方法，所采取的技术方案如下：

一种基于对抗样本的深度学习模型安全风险评估方法，所述评估方法包括：

步骤一：确定待测目标深度学习模型，并从原始样本集中抽取原始样本图像；

步骤二：对原始样本图像x_c进行预处理，使所述原始样本图像x_c符合目标深度学习模型的输入格式要求；

步骤三：利用待测目标深度学习模型，对原始样本图像x_c进行预测，获得所述原始样本图像x_c属于各个类别的概率分布；

步骤四：将各个类别对应的概率按从大到小降序排列形成类别概率序列P_c，所述待测目标深度学习模型对所述原始样本图像x_c的预测结果为排在所述类别概率序列P_c中第一位(概率最大)的类别y_c；

步骤五：根据所述原始样本图像x_c的真实类别标签y_t，检查所述待测目标深度学习模型是否预测正确；如果预测正确，则将预处理后的原始样本图像x_c再次输入待测目标深度学习模型，生成待测目标深度学习模型关于所述原始样本图像x_c的对抗样本图像x_a；如果所述待测目标深度学习模型预测错误，则所述预测准确度不符要求，需要继续训练，退出程序；

步骤六：利用待测目标深度学习模型，对步骤五所述的对抗样本图像x_a进行预测，得到所述抗样本图像x_a属于各个类别的概率分布，并将各个类别对应的概率按从大到小降序排列形成对抗样本类别概率序列P_a，所述待测目标深度学习模型对抗样本图像x_a的预测结果为排在对抗样本类别概率序列P_a中的第一位(概率最大)的类别y_a；

步骤七：计算待测目标深度学习模型对抗安全指数(MASS，Model AdversarialSecurity Score)；利用待测目标深度学习模型对原始样本和对抗样本的预测概率分布，计算待测目标深度学习模型对抗安全指数，所述待测目标深度学习模型对抗安全指数即为模型安全风险评估结果；