[发明专利]一种缩放鲁棒性对抗补丁的生成方法

说明书

本发明公开了一种缩放鲁棒性对抗补丁的生成方法，包括步骤：随机初始化固定大小的对抗补丁，对初始的对抗补丁中的像素进行分割，得到包含了若干个超像素块的分割模板；S2、随机初始化一维噪声向量，向量的长度与模板中超像素的数量相等；S3、基于模板使用噪声向量初始化对抗补丁，得到初始的超像素对抗补丁；S4、对抗补丁粘贴到图像的随机位置上，得到对抗样本；S5、根据对抗样本的梯度，以像素块的方式迭代更新对抗补丁中的像素；S6、同时使用黑盒指示器为超像素对抗补丁的更新过程增加反馈信息，经过多次迭代更新后最终生成超像素对抗补丁；S7、通过使用CAM模块提取对抗补丁的特征区域并消除冗余的噪声区域，得到最终的超像素对抗补丁块。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种缩放鲁棒性对抗补丁的生成方法。

背景技术

近年来，深度神经网络在许多领域都得到了广泛的应用，例如：图像的分类与识别、目标检测、语义分割等。然而研究表明深度神经网络极易受到对抗样本的攻击，攻击者通过在图像或者待检测目标上添加一些微小的扰动，就能导致神经网络失效，最终得到错误的预测结果，该过程称之为“对抗攻击”。

根据攻击者是否掌握目标模型的结构和参数，对抗攻击可分为白盒攻击和黑盒攻击。白盒攻击中，攻击者利用已知模型的结构或参数进行攻击；而在黑盒攻击中，目标模型的结构和参数是未知的，攻击者可以通过观察目标模型(Attacked Model)的输入和输出进行梯度估计实现攻击，也可以训练出相应的替代模型(Substitute Model)，提高对抗样本在不同模型间的迁移性实施攻击。此外根据是否需要将样本攻击为特定的类别，可分为有目标攻击和无目标攻击。本发明致力于研究实现黑盒有目标攻击。

对抗攻击的实现方法主要分为两类：全局扰动攻击(Whole-pixel Attack)和补丁攻击(Patch Attack)。全局扰动攻击通过在整张图像上添加人眼难以察觉的噪声，实现干扰神经网络的分类，常见的扰动算法如FGSM(快速梯度符号法)、MI-FGSM(动量迭代快速梯度符号法)、PGD(投影梯度下降)等。虽然全局扰动是人眼不可察觉的，但是在现实世界中无法实现。因为全局扰动需要针对每一张图像都生成特定的人眼不可见的全图像扰动，而且无法将扰动直接叠加到整张图像上。为了解决通用性的问题，相关工作提出了补丁攻击的概念。补丁攻击将噪声限制在一块很小的区域内，并且具有较强的攻击效果。与全局噪声相比，补丁攻击更加符合实际需要，只需要使用少部分的图像参与训练，就能生成对整个误分类任务都有效的对抗补丁(Adversarial Patch)，对抗补丁可以粘贴在图像的任意位置实现攻击。

目前关于对抗补丁迁移性的研究有很多，即提升对抗补丁的黑盒攻击能力，但是针对对抗补丁鲁棒性的研究却很少。在实际的黑盒攻击中，目标模型(Attacked Model)通常需要输入固定尺寸的图像，不同模型的输入尺寸可能不同。然而Adversarial Patch(对抗补丁)算法只能对同一分辨率的数据集生成通用的对抗补丁，所以现有的对抗补丁只对特定输入尺寸的图像有效，对图像的缩放操作不够鲁棒。在实际的攻击场景中，粘贴有对抗补丁的图像通常需要先经过图像处理操作，例如缩放操作，然后才能输入到目标模型中进行分类。当我们对图像进行缩放操作时，对抗补丁会丢失部分的语义特征，造成攻击能力下降。现实生活中许多实际场景中都应用到了图像缩放操作。例如，在人脸识别系统中，图像首先需要被统一缩小为112*112，然后再使用神经网络进行分类识别；此外许多图像分类任务都是基于多尺度数据集实现，多尺度数据集主要是通过图像缩放操作得到的。因此提高对抗补丁的缩放鲁棒性具有十分重要的意义。对抗补丁对缩放操作不具有鲁棒性，主要是因为像素级别的特征过于精细，如图1所示，对抗补丁中的每个像素对模型的误分类都起到了一定的作用，因此缩放操作会导致对抗补丁的黑盒攻击能力严重下降。此外我们也通过实验验证了图像的缩放操作确实可以导致对抗补丁严重失真。

现有的提升对抗样本鲁棒性的方法不适用于对抗补丁，直接使用现有技术提升对抗补丁的缩放鲁棒性是不可行的，现有技术存在的局限性主要包括以下几点：

(1)时间资源成本大