[发明专利]一种面向多目标训练对象可选择的灰盒的对抗样本生成方法

权利要求书

1.一种面向多目标训练对象可选择的灰盒的对抗样本生成方法，其特征在于：包括步骤如下：

步骤1：预处理：设定修改对象，设定差分进化迭代次数和种群大小；

步骤2：图像分割：主要目的是将待修改图片，根据像素点四方向上相邻颜色的相似程度，将大图像分割成多个颜色相近的小区域；

步骤3：利用差分进化算法搜索最佳修改区域：如果直接搜索图片本身，搜索范围比较大，因此主要目的是寻找最优的修改区域，来为更精细的修改确定范围，包括：

步骤3.1：确立种群结构、迭代次数和种群大小：

差分进化算法所寻找的，是最佳像素点的修改方法，所以种群结构，一个5维的向量，定义在图片上某个点的修改为[x,y,R,G,B]，分别代表各个修改点在图像中的横坐标、纵坐标和像素点上所对应的R,G,B值；

将问题转化为优化问题，即在所有可能修改的解空间中，寻找某一合适的修改，使得当前待修改类别的置信度总和最小：

minconf(pic,A,r)

s.t.0≤x≤N，0≤y≤M，0≤(R,G,B)≤255

其中，A为修改对象，N为图片的长度，r为修改，M为图片的宽度，R、G、B分别为像素点的三个通道，pic为图片；

步骤3.2种群初始化:

{X_i(0)|0≤X_i,1(0)≤N,0≤X_i,2(0)≤M,0≤X_i,3(0)≤255,0≤X_i,4(0)≤255,i＝1,2,...np}

其中,X_i(0)为种群第0代的第i个“染色体”，是一个[x,y,R,G,B]的5维向量,np为种群大小，即进行差分进化搜索的个体数量；

取第i个“染色体”，第j个基因值取值方式为：

其中，X_i,j(0)表示种群第0代的第i个染色体的第j个基因，表示X_i,j的取值下界，值为X第j列的最小值，表示X_i,j的取值上界，值为X第j列的最大值；

步骤3.3：变异操作，从种群中随机选择3个不同个体p₁,p₂,p₃，生成变异向量为：

V_i(g+1)＝X_p1(g)+F*(X_p2(g)-X_p3(g)),

s.t.i≠p₁≠p₂≠p₃

其中，F为缩放因子，X_i(g)代表第g代种群中第i位个体；

如果生成的V_i(g+1)不满足边界条件：

0≤x≤N,0≤y≤M,0≤(R,G,B)≤255，则用步骤3.2的方法来重新生成新的“个体”；

步骤3.4：交叉操作，得到交叉矩阵：

其中CR是交叉概率，j_rand是在[0,M]上生成的随机整数；

步骤3.5：选择操作，保留让模型输出置信度下降更多的染色体，如果交叉矩阵第i列所表示的染色体u_i(g+1)，对模型置信度的扰动更加有效，则在下一代种群中保存染色体u_i(g+1)，否则保留原来种群中的染色体X_i(g)：

通过向模型询问修改效果，得到修改后扰动目标的置信度总和，并保留扰动效果更好，模型置信度较低的修改方式；

步骤3.6：根据迭代次数，重复步骤3.3-3.5，随着算法的执行，逐步逼近最佳修改方式；

步骤3.7：通过差分进化算法，得到一个修改点的坐标：X_{area_best}，将这个修改点所在区域作为精确查找区域area_best＝find_father(X_{area_best})；

步骤4：差分进化精确寻找修改点：

步骤4.1：本步骤和步骤3相似，但需要将搜索范围从整张图片pic，转变为了精确查找区域area_best；

步骤4.2：通过差分进化算法，得到一个精确查找修改点X_best，将这个点的修改直接生效在原图pic上，并将修改后图pic'作为下次扰动的原图pic_next＝pic'；

步骤4.3：记录最优修改点坐标，R、G、B通道修改方式，以及目标置信度总和下降程度，更新目标置信度总和上限，将当前的最优修改点作为备选修改点；

步骤4.4：重复步骤3，直到扰动效果达到理想状态，此时目标置信度总和为0，所有被扰动目标都未被正确检测出或者检测分类失败；

步骤5:剔除不需要备选点：

步骤5.1：根据目标置信度总和的下降程度，对于每个可选修改点进行从小到大排序；

步骤5.2：按目标置信度总和下降顺序，依次将可选修改点复原图片，通过模型得到恢复后的置信度，如果扰动效果未受影响，则在原图上恢复此可选修改点上的修改；

步骤6：对抗训练:将对抗样本并入训练集中，进行对抗训练。