[发明专利]基于代理模型的对抗样本生成方法、装置和计算设备

说明书

本发明提供了一种基于代理模型的对抗样本生成方法、装置和计算设备。该方法包括：提供代理模型、原始样本和一基于迭代的对抗样本生成算法并迭代生成对抗样本，直到达到预设终止条件；在每个迭代轮次中：获取上一轮次迭代生成对抗样本时，代理模型的每一卷积核的各个参数自身的权重与梯度；根据每一卷积核的各个参数的权重和梯度计算每一卷积核的重要性分数；根据预设规则以及所述代理模型的各个卷积核的重要性分数剪除所述代理模型的部分卷积核；根据剪除部分卷积核后保留的各个卷积核更新所述代理模型；将达到预设终止条件时生成的对抗样本作为最终的对抗样本。该方法具备更强的迁移性能以及更高的黑盒攻击的成功率。

技术领域

本发明的实施方式涉及神经网络技术领域，更具体地，本发明的实施方式涉及一种基于代理模型的对抗样本生成方法、装置和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

图像识别作为计算机视觉中的一个重要的任务，由于深度神经网络的带动，也取得了巨大的发展。并且图像识别系统在金融/支付，公共交通以及罪犯识别等现实场景中有很多的应用。虽然图像识别系统取得了很大的成功与实际应用，但是这些系统还无法完全确保具备足够的安全性。

近几年来，深度学习在图像、语音和自然语言等领域取得突破性成果。但是，对于一些可以达到很高准确识别率的深度神经网络模型，在对抗环境中却也很容易受到攻击。在对抗环境中，深度神经网络模型会被输入一些基于正常样本恶意构造的对抗样本（例如，图片或者语音信息），在对抗样本的攻击下，深度神经网络模型会做出错误的预测。因此，采用对抗样本对深度神经网络进行攻击可以检测出深度神经网络模型潜在的漏洞，继而用于评估和提升深度神经网络模型的安全性。

发明内容

在本上下文中，本发明的实施方式期望提供一种基于代理模型的对抗样本生成方法、装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种基于代理模型的对抗样本生成方法，包括：

提供代理模型、原始样本和一基于迭代的对抗样本生成算法；

基于代理模型、原始样本和对抗样本生成算法迭代生成对抗样本，直到达到预设终止条件；

在每个迭代轮次中：

获取上一轮次迭代生成对抗样本时，代理模型的每一卷积核的各个参数自身的权重与梯度；

根据每一卷积核的各个参数的权重和梯度计算每一卷积核的重要性分数，所述重要性分数用于表示相应轮次中代理模型的对应卷积核对生成的对抗样本的影响程度；

根据预设规则以及所述代理模型的各个卷积核的重要性分数剪除所述代理模型的部分卷积核；

根据剪除部分卷积核后保留的各个卷积核更新所述代理模型；

将达到预设终止条件时生成的对抗样本作为最终的对抗样本。

在本实施方式的一个实施例中，某一卷积核的重要性分数为所述卷积核的梯度向量转置后和权重的乘积的绝对值。

在本实施方式的一个实施例中，所述预设规则包括剪除重要性分数低于预设阈值的卷积核。

在本实施方式的一个实施例中，所述预设规则包括以预设的剪枝率进行卷积核剪除。

在本实施方式的一个实施例中，根据预设规则以及所述代理模型的各个卷积核的重要性分数剪除所述代理模型的部分卷积核，包括：

基于每一卷积核的重要性分数，按照从高到低的顺序对各个卷积核进行排序；

根据所述剪枝率对排序在后的部分卷积核进行剪除。