[发明专利]基于神经通路的中毒模型测试方法、装置及系统

说明书

本发明公开了一种基于神经通路的中毒模型测试方法、装置及系统，包括以下步骤：(1)获取待检测模型，并将测试样本输入至待检测模型中，计算待检测模型的Top‑k神经通路；(2)依据Top‑k神经通路和测试样本的预测值与真实标签的交叉熵构建损失函数，并将损失函数的梯度值作为扰动添加到测试样本得到扰动样本；(3)利用待检测模型获得测试样本的预测标签和扰动样本的预测标签后，并根据预测标签计算测试样本的标签变化率，依据标签变化率判断待检测模型是否中毒。根据模型内部神经元与神经元、层与层之间的联系，探索中毒模型潜在的后门，实现对中毒模型的检测。

技术领域

本发明属于深度学习安全领域，具体涉及一种基于神经通路的中毒模型测试方法、装置及系统。

背景技术

人工智能技术在计算机视觉和自然语言处理等领域取得突破，使人工智能迎来了新一轮的爆炸式发展。深度学习是这些突破的关键。其中，基于深度卷积网络的图像分类技术已经超过了人眼的精度，基于深度神经网络的语音识别技术已经达到了95％的精度，基于深度神经网络的机器翻译技术已经接近了人类的平均翻译水平。随着精度的迅速提高，计算机视觉和自然语言处理已经进入产业化阶段，并带动了新兴产业的兴起。越来越多的人倾向于相信人工智能模型在生活各个方面的应用即将到来。随着复杂性和功能的增加，训练这类模型需要在收集训练数据和优化性能方面作出巨大努力。因此，预先训练的模型正在成为非常有价值的事实，供应商(例如谷歌)和开发人员分发、共享、重用甚至出售以获取利润。

在软件分发和重用的漫长历史中，一场永久性的战斗悄悄打响。在发布的软件中常常会存在潜在的恶意行为和后门，这些行为通常被软件的高度吸引人的功能特征所掩盖，在某些特殊场景下将会触发不良行为，导致灾难性的后果。但因深度学习模型测试与传统软件测试的从架构、运作机理的不同，导致系统测试十分困难。

针对深度学习的安全性测试，基于覆盖的测试方法借鉴了软件测试中的代码覆盖思想，利用深度学习模型中神经元的激活状态来衡量测试过程中对深度学习模型输入的探索，并进一步按功能区划分为多粒度测试准则，这被证明对于对抗攻击是良好有效的。一般认为，对模型探索程度越高，模型的安全性和鲁棒性越强。但是，由于中毒攻击是在训练阶段对数据进行操作的，不同于对抗攻击，而良性的样本在模型测试中没有表现出异常，不能增加覆盖率，从而无法测试深度学习系统内部是否中毒。

目前已有的检测和防御方法都是基于木马与良性木马之间神经元激活值的差异。这些方法都是对模型内部进行深入分析，分析单个或多个神经元的脆弱性。对于常见的带有触发器的木马攻击，这些方法都有很好的检测效果，有的甚至可以反向生成触发样本，为后防御中毒攻击提供方向。然而，当受损神经元和正常神经元之间没有绝对差异时，大多数检测方法都是无效的。由于没有考虑神经元之间的紧密联系和层与层之间的相互作用，混合攻击的检测效果并不理想。因此，目前已有的方法无法涵盖较全的中毒方法，仅在特定的中毒场景下能达到检测效果，亟须一种方法来测试模型是否中毒。

发明内容

鉴于上述，本发明的目的是提供一种基于神经通路的中毒模型测试方法、装置及系统，根据模型内部神经元与神经元、层与层之间的联系，探索中毒模型潜在的后门，实现对中毒模型的检测。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，一种基于神经通路的中毒模型测试方法，包括以下步骤：

(1)获取待检测模型，并将测试样本输入至待检测模型中，计算待检测模型的Top-k神经通路；

(2)依据Top-k神经通路和测试样本的预测值与真实标签的交叉熵构建损失函数，并将损失函数的梯度值作为扰动添加到测试样本得到扰动样本；

(3)利用待检测模型获得测试样本的预测标签和扰动样本的预测标签后，并根据预测标签计算测试样本的标签变化率，依据标签变化率判断待检测模型是否中毒。

优选地，所述待检测模型的Top-k神经通路表示为：