[发明专利]模型的后门检测方法、装置、介质和计算设备

说明书

本发明公开一种模型的后门检测方法、装置、介质和计算设备。该模型的后门检测方法包括：提供检测样本集，所述检测样本集包括多个检测样本；基于所述检测样本集中的检测样本、待检测模型以求解使得检测样本集中的每一检测样本与随机采样的触发器图案结合后，作为所述待检测模型的输入能够使得所述待检测模型输出特定结果时，检测样本上最小的触发器面积为目标进行优化计算，得到所述待检测模型各个输出类别的触发器；对比全部输出类别的触发器，以判断所述待检测模型是否存在后门。该模型的后门检测方法可以在黑盒场景下对待检测模型进行后门攻击检测。

技术领域

本发明涉及后门攻击领域，特别涉及一种模型的后门攻击检测方法、装置、介质和计算设备。

背景技术

现有的后门检测方法主要有两大类，分别是模型训练阶段的检测方法和模型测试阶段的检测方法。其中，模型训练阶段的检测方法通过异常检测等方式判断训练模型的数据集中是否存在被投毒的数据，从而判断模型是否存在后门。模型测试阶段的检测方法是通过反向还原后门的方式检测模型是否存在后门，这类方法通过对模型输出的每一个类别还原出来可能的后门触发器，然后判断某个类别的触发器的1-范数是不是远小于其他类别触发器的1- 范数。如果存在某个类别触发器的1-范数相比于其他类别的触发器的1-范数很小，那么模型就极有可能存在后门。这类方法背后的原理是攻击者往往会设计一个很小的触发器叠加在样本上，进行后门攻击，如果反向还原算法能够完全还原出来触发器图案，那么就能够依据不同类别触发器的大小判断出后门攻击。

现有后门检测方法存在的主要问题是对于待检测模型和训练数据集的要求过高，在黑盒场景下无法使用。训练阶段的后门检测方法需要获取被投毒的训练集，而测试阶段的后门检测方法需要获取对模型的内部参数和梯度信息，从而利用基于梯度的方式反向还原后门。然而在现实的场景中，用户所使用的商业机器学习服务或API往往只提供访问接口，用户并不能够获取这些商业模型的训练数据以及模型内部的参数、梯度信息，所以无法使用现有的后门检测方法。

发明内容

本发明的主要目的是提出一种模型的后门检测方法、装置、介质和计算设备，旨在解决在黑盒场景无法获得模型的训练数据以及内部梯度信息的情况下，如何判断模型是否存在后门。

为实现上述目的，本发明提出的模型的后门检测方法，包括：

提供检测样本集，所述检测样本集包括多个检测样本；

基于所述检测样本集中的检测样本、待检测模型以求解使得检测样本集中的每一检测样本与随机采样的触发器图案结合后，作为所述待检测模型的输入能够使得所述待检测模型输出特定结果时，检测样本上最小的触发器面积为目标进行优化计算，得到所述待检测模型各个输出类别的触发器；

对比全部输出类别的触发器，以判断所述待检测模型是否存在后门。

在一个实施例中，所述提供检测样本集包括：针对待检测模型的每一输出类别，随机采样多个具有目标类别的样本。

在一个实施例中，所述提供检测样本集包括：

针对待检测模型的每一输出类别，随机生成多个样本；

针对每一个样本生成对应目标类别的欺骗性样本。

在一个实施例中，从预设的均匀分布中采样生成多个样本。

在一个实施例中，所述针对每一个样本生成对应目标类别的欺骗性样本采用基于访问的黑盒攻击方法生成欺骗性样本。

在一个实施例中，针对每一个样本，采用基于访问的黑盒攻击方法生成欺骗性样本，包括：

采用蒙特卡洛梯度估计法估计“损失函数相对整个第一高斯分布的期望”相对一个所述具有目标类别的样本的梯度；

基于所述梯度进行梯度下降，以生成相应的欺骗性样本；