[发明专利]一种面向多目标训练对象可选择的灰盒的对抗样本生成方法

说明书

本发明公开了一种面向多目标训练对象可选择的灰盒的对抗样本生成方法，包括：步骤1：预处理：设定修改对象，设定差分进化迭代次数和种群大小；步骤2：图像分割：这一步的主要目的是将待修改图片，根据像素点四方向上相邻颜色的相似程度，分割成多个颜色相近的小区域，如果邻域内的像素点的颜色相近，则表明邻域内的像素点描述了同一事物；步骤3：搜索最佳修改区域：由于直接搜索图片本身，搜索范围比较大，这一步的主要目的是寻找最优的修改区域，来为更精细的修改确定范围；步骤4：差分进化精确寻找修改点；步骤5：剔除不需要备选点；步骤6：对抗训练:将对抗样本并入训练集中，进行对抗训练，达到选定目标的检测置信度提升。

技术领域

本发明涉及一种面向多目标训练对象可选择的灰盒的对抗样本生成方法，属于对抗样本生成方法技术领域。

背景技术

目标检测是计算机视觉领域最重要的任务之一。一般把目标检测分成2类。第一类首先根据算法计算候选框，再对候选框的内容做分类。如：R-CNN，fast R-CNN，faster R-CNN。另一类是通过一个深度卷积神经网络来完成定位和分类，如yolo。

对抗样本是人工智能安全中重要的研究对象，对输入图像进行特定的细微修改，能使模型分类置信度降低，甚至分类失败。

灰盒是指不清楚模型内部参数、结构，只知道模型输出的一种状态。

深度卷积神经网络在计算机视觉领域得到广泛应用，但是对图像进行特定的修改所生成的对抗样本，能够使深度卷积神经网络分类错误，目标检测不准确。如果把对抗样本加入到模型训练样本中，让模型在原数据集完成训练后，再进行对抗训练，能够提升模型的抗干扰性，提升在恶劣环境下使用的正确率。目前的主流的对抗样本生成方式基本上是基于白盒的，即知道模型的内部结构，如：FGSM，BIM，ILCM等算法，通过反向传播，得到对抗样本修改方向。或者，如：JSMA，通过形成基于梯度的显著图，利用显著图中的关键点生成对抗样本。可是，在日常情况下，我们通过深度卷积神经网络很可能只知道图像分类后的置信度，甚至只知道正确类别的置信度。即，深度卷积神经网络是一个灰盒模型，我们不清楚神经网络的结构，内部参数，无法通过反向传播算法指定对抗样本的生成方向。而且，基于反向传播的对抗样本生成算法，往往对原图的修改规模较大，比如像FGSM，BIM，ILCM等算法几乎修改了图片中所有像素点。这使得如果选择了不恰当的扰动步长，对抗样本容易被人眼所识别出来，甚至由于扰动步长过大成为垃圾样本，干扰对抗训练。

发明内容

本发明提供一种面向多目标训练对象可选择的灰盒的对抗样本生成方法，以解决现有目标检测模型在灰盒状态下，使用者希望提高某些重要类型的检测正确性，让模型在恶劣环境下对于某些重要类型检测的正确性，同时不希望对非关键目标的检测效果造成巨大的损失。

为解决上述技术问题，本发明所采用的技术方案如下：

一种面向多目标训练对象可选择的灰盒的对抗样本生成方法，包括步骤如下：

步骤1：预处理：设定修改对象，设定差分进化迭代次数和种群大小；

步骤2：图像分割：这一步的主要目的是将待修改图片，根据像素点四方向上相邻颜色的相似程度，分割成多个颜色相近的小区域。如果邻域内的像素点的颜色相近，则表明邻域内的像素点描述了同一事物；

步骤3：利用差分进化算法搜索最佳修改区域：如果直接搜索图片本身，搜索范围比较大，所以这一步的主要目的是寻找最优的修改区域，来为更精细的修改确定范围；

步骤4：差分进化精确寻找并记录修改点位置和扰动方式：

步骤4.1：利用差分进化算法，在最优修改区域中，搜索当前最优修改点坐标和扰动方式；

步骤4.2：记录最优修改点坐标，R、G、B通道修改方式、以及目标置信度总和下降程度，更新目标置信度总和上限，将当前的最优修改点作为备选修改点；