[发明专利]面向深度学习模型的隐蔽中毒攻击防御方法及其装置

说明书

本发明公开了一种面向深度学习模型的隐蔽中毒攻击防御方法，包括(1)获取图像数据集与深度学习模型；(2)利用深度学习模型筛选获得干净图像数据集；(3)生成中毒样本，将生成中毒样本的过程隐蔽在图像预处理过程中；(4)将生成的中毒样本输入深度学习模型中使模型中毒，并在测试阶段使模型对于触发样本做出错误判断；(5)将生成的中毒样本标注正确的类标输入深度学习模型中进行强化训练，以修复深度学习模型。本发明还公开了一种面向深度学习模型的隐蔽中毒攻击防御装置，用于实施上述方法。本发明通过生成中毒样本实现对模型的隐蔽中毒攻击，然后将生成的中毒样本用于修复模型，从而提高模型的安全性和鲁棒性。

技术领域

本发明涉及中毒检测技术领域，具体涉及一种面向深度学习模型的隐 蔽中毒攻击防御方法及其装置。

背景技术

深度学习逐渐成为人工智能领域的研究热点和主流发展方向。深度学 习是由多个处理层组成的计算模型，学习具有多个抽象层次的数据表示的 机器学习技术。深度学习代表了机器学习和人工智能研究的主要发展方向， 给机器学习和计算机视觉等领域带来了革命性的进步。人工智能技术在计 算机视觉和自然语言处理等领域取得突破，使人工智能迎来了新一轮的爆 炸式发展。深度学习是这些突破的关键。其中，基于深度卷积网络的图像 分类技术已经超过了人眼的精度，基于深度神经网络的语音识别技术已经 达到了95％的精度，基于深度神经网络的机器翻译技术已经接近了人类的 平均翻译水平。随着精度的迅速提高，计算机视觉和自然语言处理已经进 入产业化阶段，并带动了新兴产业的兴起。

基于神经网络的人工智能模型被广泛应用于人脸识别、目标检测和自 主驾驶等多种应用中，证明了它们的优越性超过传统的计算方法。越来越 多的人倾向于相信人工智能模型在生活各个方面的应用都起着至关重要 的作用。随着复杂性和功能的增加，培训此类模型需要在收集训练数据和 优化性能方面作出巨大努力。因此，预先训练的模型正在变为供应商(例 如Google)和开发人员分发、共享、重用甚至出售以获取利润的有价值的 物品。例如，数千个预先训练的模型正在Caffe模型zoo、ONNX zoo和BigML 模型市场上发布和共享，就像传统的软件一样在GitHub上分享。这些模 型可以由信誉良好的供应商、机构甚至个人进行培训。

然而预先训练的智能系统模型可能包含通过训练或通过转换内部神 经元权重注入的后门。当提供常规输入时，这些木马模型正常工作，当输 入被印上触发器的特殊模式时，对特定的输出标签进行错误分类。然而目 前的中毒攻击方法中对于中毒样本的隐蔽性不是很好，在实际应用中效果 较差，因此本专利提出了一种十分隐蔽的中毒攻击方法，将中毒样本的生 成隐蔽在图像预处理过程中，并提出了针对所提隐蔽中毒攻击的防御方法，为提高模型的安全性与鲁棒性做出贡献。

发明内容

本发明的目的在于提供一种面向深度学习模型的隐蔽中毒攻击防御 方法及其装置，通过算法将生成中毒样本的过程隐蔽在图像预处理过程中， 使得中毒过程更加隐蔽，同时提出针对所提隐蔽中毒攻击的防御方法，实 现对深度学习模型的安全性和鲁棒性的提高。

一种面向深度学习模型的隐蔽中毒攻击防御方法，

包括以下步骤：

(1)获取图像数据集与深度学习模型；

(2)利用深度学习模型对图像数据集进行识别，筛选获得能够被正 确识别的图像，组成干净图像数据集；

(3)生成中毒样本，将生成中毒样本的过程隐蔽在图像预处理过程 中；

(4)将生成的中毒样本输入深度学习模型中使模型中毒，并在测试 阶段使模型对于触发样本做出错误判断；

(5)将生成的中毒样本标注正确的类标输入深度学习模型中进行强 化训练，以修复深度学习模型，提高深度学习模型的识别结果准确率。

本方案通过生成中毒样本实现对模型的隐蔽中毒攻击，然后将生成的 中毒样本用于修复模型，从而提高模型的安全性和鲁棒性。