[发明专利]一种面向图像描述系统的通用对抗补丁生成方法及系统

说明书

本发明公开了一种面向图像描述系统的通用对抗补丁生成方法及系统，该方法为：初始化对抗补丁；将对抗补丁通过RandomApply算法添加到随机图像中；将添加对抗补丁后的图像送入图像描述系统中，计算联合损失函数；对联合损失函数进行反向传播，通过优化器更新对抗补丁图像的像素值；经过预设次数的迭代后，即可生成可以使深度学习模型输出错误的对抗补丁。与现有对抗补丁相比，本发明首次在图像描述系统中实现对抗补丁，使图像描述系统错误输出为指定描述，并可以生成通用的对抗补丁，有效提高对抗补丁的稳定性和场景适应能力。

技术领域

本发明属于人工智能领域，涉及一种面向图像描述系统的通用对抗补丁生成方法及系统。

背景技术

近年来人工智能技术的不断发展，已经被用在了多种重要领域，图像描述系统就是其应用之一。图像描述是一种结合计算机视觉和自然语言处理的多模态系统，可以对图像所包含的内容进行准确识别，自动生成与图像中的内容相匹配的图像描述信息。

近些年来，针对图像的对抗样本成为人工智能领域的研究热点，图像对抗样本可以在人类无法察觉的情况下，使深度神经网络产生错误的输出结果，研究对抗样本对于保护智能识别系统的安全性具有重要的意义。物理对抗样本是一种特殊的对抗样本，不同于数字对抗样本，物理对抗样本只需要被摄像机捕捉，不需要入侵计算机系统就可以实现。但针对物理攻击的现有研究大多是为攻击图像分类器和目标检测器，目前没有针对图像描述系统的物理攻击。

发明内容

本发明提供一种面向图像描述系统的通用对抗补丁生成方法及系统，该方法利用了图像描述系统的注意力机制，可以根据目标描述语句生成对应的对抗补丁，有效实现在物理世界中对图像描述系统的鲁棒攻击，为图像描述系统的安全研究与防护提供了新的思路。

本发明的采用以下技术方案实现：

一种面向图像描述系统的通用对抗补丁生成方法，包括以下步骤：

1)输入目标描述语句，根据设计尺寸随机初始化对抗补丁；

2)随机选择一张图像，通过RandomApply算法将对抗补丁添加到该图像中。RandomApply算法首先将对抗补丁根据预设范围随机旋转、调整尺寸和调整亮度，然后将处理过后的对抗补丁叠加在选择图像的随机位置。RandomApply算法旨在提高对抗补丁的鲁棒性，其表达公式为：

x′＝Apply_l～L(x，l，Trans_t～T(patch，t))

式中patch是所生成的对抗补丁，x是原始选择的图片，x′是添加对抗补丁后的图像，T是预设旋转、调整尺寸和调整亮度参数的集合，t是随机选择得到的对抗补丁旋转、调整尺寸和调整亮度参数，Trans_t～T(patch,t)表示将对抗补丁按照随机得到的参数对对抗补丁进行随机旋转、调整尺寸和调整亮度，L是预设摆放位置的集合，l是随机选择得到的摆放位置，Apply_l～L(x,l,Trans_t～T(patch,t)表示将随机变化后的Trans_t～T(patch,t)随机覆盖到原始选择的图像上。

3)将步骤2)生成的添加对抗补丁后的图像送入图像描述系统中，根据步骤1)中输入的目标描述语句计算注意力增强损失函数、目标描述损失函数和补丁平滑度损失函数，加权求得联合损失函数。所述的注意力增强损失函数用于增强图像描述系统对于对抗补丁的注意力权重；所述的目标描述损失函数用于使图像描述系统输出目标描述语句；所述的补丁平滑度损失函数用于提高对抗补丁在物理世界中的鲁棒性。该步骤具体包括以下四个子步骤：