[发明专利]一种基于两阶段对抗知识迁移的对抗样例防御方法

说明书

本发明属于人工智能安全技术领域，公开了一种基于两阶段对抗知识迁移的对抗样例防御方法，通过异构多源的对抗训练，先把对抗知识从数据迁移到大型复杂DNN(深度神经网络)，完成第一阶段的对抗知识迁移；然后采用对抗样例的软标签，提出对抗萃取技术，把对抗知识从复杂DNN迁移到简单DNN，实现第二阶段的对抗知识迁移。本发明提出的两阶段对抗知识迁移的方法，可以使边缘设备上的简单神经网络获得与大型复杂网络接近的鲁棒性，较好的解决了依靠单纯对抗训练无法解决的简单网络的鲁棒性问题。本发明提出的对抗萃取具有较好的算法收敛性，可以使简单网络模型性能和鲁棒性稳定提升并加快收敛，较好的解决了集成对抗训练中模型性能和鲁棒性的不稳定问题。

技术领域

本发明属于人工智能安全技术领域，尤其涉及一种基于两阶段对抗知识迁移的对抗样例防御方法。

背景技术

目前，最接近的现有技术：近来深度神经网络(DNN，Deep Neural Networks)被广泛运用在图像识别、自然语言处理等领域，但是研究表明，如果对数据增加一些精心设计的、不被人察觉的扰动，可导致深度神经网络错误分类。这种被添加恶意噪声的样例被称为对抗样例。对抗样例的出现限制了深度神经网络在安全敏感领域的应用，比如在自动驾驶、人脸支付等。研究人员在防御对抗样例方面做了大量工作，其中把对抗样例作为训练数据，对DNN进行对抗训练被认为是目前针对对抗样例最为有效的防御方法之一。

随着边缘计算的兴起，在边缘设备上部署具有与大型DNN同样的高精度和防御能力的简单DNN成为亟待解决的问题。最新研究表明，大型DNN经过对抗训练可以获得优良的防御能力。但把这些经过对抗训练的大型DNN部署到资源(内存、计算和功率)严格受限，又需要实时预测的边缘设备(如便携式设备或传感器网络)时，却成为一个极具挑战的问题。目前提出了各种模型压缩方法，如剪枝、参数量化和知识萃取等，或直接对边缘设备上的简单DNN进行对抗训练，但这些现有技术解决的效果不佳。原因在于：(1)简单DNN比大型DNN更难训练得到高的分类精度和鲁棒性。(2)现有的模型压缩等方法只关注提升简单DNN的分类精度，并不能提升简单DNN的对抗样例防御能力。因此，为边缘设备上的简单DNN设计防御对抗样例的方法具有十分重要的意义。

发明内容

本发明提出一种基于两阶段对抗知识迁移的对抗样例防御方法，可以使边缘设备上的简单DNN获得与大型复杂的DNN相当的分类精度和防御能力。由于对抗训练的目的是使DNN获得对抗知识，增强对对抗样例的防御能力，因此如何把对抗知识高效的迁移到简单DNN是本发明的核心。

本发明是这样实现的，通过异构多源的对抗训练，先把对抗知识从数据迁移到大型DNN，完成第一阶段的对抗知识迁移；然后采用对抗样例的软标签，提出对抗萃取技术，把对抗知识从大型DNN迁移到简单DNN，实现第二阶段的对抗知识迁移。通过两阶段的对抗知识迁移，可以有效的把蕴含于数据和模型中的对抗知识迁移到边缘设备上的简单DNN，从而获得与大型DNN相当的防御能力。

具体包括：

进一步，所述两阶段对抗知识迁移的防御方法具体包括以下步骤：

(1)从多个DNN中生成对抗样例，形成多源对抗样例数据集D_a；

(2)将干净样例数据集D_c和多源对抗样例数据集D_a合并，形成对抗训练集D；

(3)将对抗训练集D对复杂DNN f_teacher进行训练，实现第一阶段对抗知识从数据向复杂DNN的迁移；

(4)将干净样例数据集D_c输入f_teacher，获得带软标签的干净样例数据集

(5)将多源对抗样例数据集D_a输入f_teacher，获得带软标签的对抗样例数据集