[发明专利]一种基于逐层相关性传播的对抗样本检测方法和装置

说明书

本发明公开了一种基于逐层相关性传播的对抗样本检测方法和装置，包括：获取图像样本，利用图像样本训练深度学习模型；将良性图像样本输入至训练好的深度学习模型，并计算每个良性图像样本的相关性分数，其中，良性图像样本的相关性分数由像素点的相关性分数计算得到，像素点的相关性分数依据神经元的相关性，反向逐层传递计算得到；统计多数良性图像样本的相关性分数分布确定对抗样本的判别依据；将待测图像样本输入至训练好的深度学习模型，计算待测图像样本的相关性分数，依据判别依据检测待测图像样本是否为对抗样本。以实现对各类深度学习模型的各类对抗样本的快速准确检测。

技术领域

本发明属于数据安全领域，具体涉及一种基于逐层相关性传播的对抗样本检测方法和装置。

背景技术

深度神经网络(DNN)在各种科学领域应用广泛且发挥了显著的作用，从自然语言处理和计算机视觉到智能医疗和智能运输。DNN表现出卓越的精度，但研究已经表明它们特别容易受到对抗性样本的影响：通过精心制作的输入扰动，导致机器学习算法出现错误分类，而输入的扰动是肉眼难以察觉的。

在许多安全关键的场景中，已经看到了DNN的广泛应用。但是，由于最新的深度学习系统存在各种漏洞，当应用于实际应用时，这些漏洞可能导致严重的后果。对抗样本的出现对深度学习的安全使用带来了极大的挑战，尤其是在自动驾驶、刷脸支付等对于安全敏感的领域，对抗样本的存在为其技术本身和落地应用带来了更多不确定性。对抗样本现在已经成为了深度学习在安全领域的热点问题，对抗样本的生成方式、特点、检测以及更正方法都是目前的研究重点。

目前针对对抗样本的研究主要可以分为攻击和防御两个角度。攻击，即对抗样本的生成，根据在生成对抗样本时所需的知识，将对抗样本的生成方式分为白盒攻击(white-box attack)和黑盒攻击(black-box attack)，其区别在于攻击者在生成对抗样本时能否得到模型的内部参数。而防御方法又可以分为对抗样本检测、对抗样本的还原和提高模型的鲁棒性，对抗样本另一个十分重要的特点在于它的迁移性：针对某一个模型生成的对抗样本对很多其它模型同样具有攻击性。目前针对对抗样本的攻击，已经提出了许多防御方法，其中对抗训练是提高神经网络的鲁棒性的最有效方法。然而，无论模型多么健壮，当出现新的对抗攻击时，深度模型依然会被欺骗。因此，需要提出灵活有效的对抗样本检测方法。

对于对抗样本的检测，目前现有的对抗样本检测方法大多是基于样本的检测，需要事先准备大量的对抗样本，通过对抗样本的特征生成对抗样本检测器。缺乏从对抗样本对于模型的异常激活模式的检测，而且当防御者对攻击的策略未知时，无法抵御攻击。

发明内容

针对上述问题，本发明提出了一种基于逐层相关性传播的对抗样本检测方法和装置，以实现对各类深度学习模型的各类对抗样本的快速准确检测。

第一方面，实施例提供的一种基于逐层相关性传播的对抗样本检测方法，包括以下步骤：

获取图像样本，利用图像样本训练深度学习模型；

将良性图像样本输入至训练好的深度学习模型，并计算每个良性图像样本的相关性分数，其中，良性图像样本的相关性分数由像素点的相关性分数计算得到，像素点的相关性分数依据神经元的相关性，反向逐层传递计算得到；

统计多数良性图像样本的相关性分数分布确定对抗样本的判别依据；

将待测图像样本输入至训练好的深度学习模型，计算待测图像样本的相关性分数，依据判别依据检测待测图像样本是否为对抗样本。

优选地，所述良性图像样本的相关性分数f(x)为：

其中，是第p个像素点的相关性分数，表示像素点对预测结果有影响，反之无影响。

优选地，所述像素点的相关性分数依据神经元的相关性，反向逐层传递计算得到包括：