[发明专利]一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法

说明书

本发明提出了一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，能够相比现有方法生成更具隐蔽性的对抗补丁。针对现有对抗补丁生成技术生成的对抗补丁与周围环境极不协调，非常容易被人类发现的问题，本发明基于深度学习的可解释性与风格迁移技术设计了多模型加权热力图方法与局部风格迁移方法。本发明的主要任务是通过多模型加权热力图定位补丁最佳攻击位置，再获取目标位置的图像，用其风格与内容指导对抗补丁生成过程，最后生成更加隐蔽的对抗补丁。相比现有方案，本发明在对抗补丁的生成上能够与周围环境融合，在成功攻击的同时不易被人类察觉，实际应用效果更好。

技术领域：

本发明公开了一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，涉及深度学习方法中的对抗样本攻击算法设计，属于人工智能安全领域。

背景技术：

对抗样本即通过在图像上精心添加一些人眼不可察觉的细微扰动，可以使得添加扰动后的图像被深度学习模型错误分类。例如，一张真实标签为熊猫的图片可以被深度学习模型正确分类，但是在添加上精心设计的扰动之后，在人的视觉看来新的图片与原图并无明显差异，但是却会被深度学习模型以高置信度错误分类为长臂猿，新的图片就是对抗样本。对抗样本也揭示了深度学习模型的脆弱性。最初，对抗样本是在图像分类任务中发现的。然而，目前主流的计算机视觉任务，如语义分割、目标检测以及目标跟踪等，都面临对抗样本的威胁。

对抗样本不仅仅局限在数字图像上，近些年的研究已经可以通过将类似于补丁的东西安放在实际物体上来生成对抗样本，使得对抗样本能够在现实世界出现。例如，在道路交通标志牌上安放对抗补丁，使得自动驾驶车辆在通过该标志牌时得到错误的指令，极易发生交通事故；在人脸上安放带有对抗补丁的伪装挂件，可以欺骗人脸识别系统，让监控设备无法识别身份。由此可见，对抗样本已经能够威胁到我们的日常生活，给各行业的安全工作带来隐患。研究对抗补丁的生成方法，可以深入理解对抗样本的产生原理与深度学习模型的潜在漏洞，有助于解决对抗样为深度学习模型带来的安全问题，真正提高模型的安全性与鲁棒性。

当前，生成对抗补丁的方法主要有以下几种：

GooglePatch：该攻击方法会生成一个与图像无关的补丁，将此补丁放置在图像中的某一位置，便能攻击深度学习模型，让其将目标图像分类为错误类别。生成对抗补丁的损失函数公式如下：

其中，为网络要输出的错误标签，x为高为H宽为W的原始图像，p为要生成的补丁，t为补丁的变换(旋转、缩放等)，补丁变换使用了期望转换技术(Expectation overTransformation,EoT)，l为补丁需要放置的位置，A(p，x，l，t)表示将补丁p通过变换t放置到原始图像x的位置l处。X为原始图像的集合，T为补丁变换的分布，L为原始图像中位置的分布。生成的补丁可以放置在任一图像上来改变目标模型的输出，但是这类补丁在人类看来十分明显。

DPatch：DPatch同时攻击边界框回归器，以使得目标检测模型产生错误的定位。在无目标攻击中，为了让目标检测器无法检测到物体的位置，需要最大化真实类别和边界框回归器的损失，通过放置补丁，让模型将真实的目标判别为背景，公式如下：

其中，p_u为可进行无目标攻击的对抗补丁，y为背景类，B为边界损失。

在有目标攻击中，目标检测器只能检测到补丁而忽略其它真正的目标。所以需要最小化补丁的类别损失与边界损失，目标类别是预定义的某一类别，公式如下：

其中，p_c为可进行目标攻击的对抗补丁，c为目标类。DPatch将对抗补丁迁移到了目标检测任务，但是其生成的补丁只能在数字图像上应用，无法在实际场景中起效，且隐蔽性依旧很差。

发明内容：