[发明专利]一种物理对抗样本生成方法及系统

权利要求书

1.一种物理对抗样本生成方法，其特征在于，包括：

获取原始图像集、风格图像集、所述原始图像集的攻击蒙版图像和所述风格图像集的攻击蒙版图像；

采用所述原始图像集作为训练样本，采用模型窃取法，确定黑盒目标模型的替代模型；

基于所述原始图像集、所述风格图像集、所述原始图像集的攻击蒙版图像、所述风格图像集的攻击蒙版图像和所述替代模型，采用风格迁移技术思想和基于梯度的对抗样本生成方法生成所述原始图像集中各图像的攻击区域的风格扰动；

对所述原始图像集进行仿射变换生成变换图像集，并基于所述替代模型，采用基于梯度的对抗样本生成方法生成所述变换图像集的自适应扰动；

将所述风格扰动和所述自适应扰动添加到所述原始图像集的攻击区域，生成所述原始图像集中每一张原始图像的物理对抗样本；

将所述原始图像集作为训练样本输入所述黑盒目标模型，并利用所述训练样本和所述黑盒目标模型输出的对应的预测标签值构建替代样本集；

将所述替代样本集和所述原始图像集对应的图像真实标签值输入VGG19网络，并以替代模型损失函数最小为目标进行训练，得到训练好的VGG19网络；所述替代模型损失函数是根据所述图像真实标签值、所述VGG19网络输出的预测标签值和所述黑盒目标模型输出的预测标签值构建而成；

将所述训练好的VGG19网络确定为黑盒目标模型的替代模型；

所述基于所述原始图像集、所述风格图像集、所述原始图像集的攻击蒙版图像、所述风格图像集的攻击蒙版图像和所述替代模型，采用风格迁移技术思想和基于梯度的对抗样本生成方法生成所述原始图像集中各图像的攻击区域的风格扰动，具体包括：

采用所述替代模型构建局部特征提取器；

对于所述原始图像集中的任意一张原始图像，采用所述原始图像集的攻击蒙版图像确定当前迭代次数t下的图像对抗样本的攻击区域，采用所述风格图像集的攻击蒙版图像确定所述风格图像集中风格图像的攻击区域；其中，第1次迭代时的图像对抗样本为所述原始图像；

采用所述局部特征提取器分别提取所述图像对抗样本的攻击区域的风格特征、所述风格图像的攻击区域的风格特征、所述图像对抗样本的攻击区域的内容特征和所述原始图像集中原始图像的攻击区域的内容特征；

根据所述图像对抗样本的攻击区域的风格特征和所述风格图像的攻击区域的风格特征，确定风格特征损失函数；

根据所述图像对抗样本的攻击区域的内容特征和所述原始图像的攻击区域的内容特征，确定内容特征损失函数；

将所述风格特征损失函数和所述内容特征损失函数的梯度确定为所述原始图像在当前迭代次数t下的风格扰动，从而得到所述原始图像集中每一张原始图像的攻击区域当前迭代次数t下的风格扰动；

所述对所述原始图像集进行仿射变换生成变换图像集，并基于所述替代模型，采用基于梯度的对抗样本生成方法生成所述变换图像集的自适应扰动，具体包括：

从预设图像变换集合中随机选择一种图像变换，对当前迭代次数t下的图像对抗样本进行仿射变换，得到当前迭代次数t下的变换图像；其中，第1次迭代时的图像对抗样本为原始图像集中的任意一张原始图像；所述预设图像变换集合中的每一个元素表示一种图像变换；所述图像变换包括旋转、缩放和平移变化；

将所述变换图像输入所述替代模型，所述替代模型输出所述变换图像的预测值；

基于所述变换图像的预测值和图像真实标签值，计算交叉熵损失函数的梯度，并将所述交叉熵损失函数的梯度确定为所述变换图像在当前迭代次数t下的自适应扰动，从而得到所述原始图像集对应的变换图像集在当前迭代次数t下的自适应扰动；

所述将所述风格扰动和所述自适应扰动添加到所述原始图像集的攻击区域，生成物理对抗样本，具体包括：

由当前迭代次数t下的风格扰动和当前迭代次数t下的自适应扰动计算当前迭代次数t下的扰动；

由当前迭代次数t下的风格扰动、当前迭代次数t下的自适应扰动和当前迭代次数t下的扰动计算下一迭代次数t+1下的扰动；

基于当前迭代次数t下的图像对抗样本和下一迭代次数t+1下的扰动，生成下一迭代次数t+1下的图像对抗样本；

判断当前迭代次数t是否达到预设的迭代次数；

若是，则将下一迭代次数t+1下的图像对抗样本确定为物理对抗样本。