[发明专利]基于神经通路的中毒模型测试方法、装置及系统

权利要求书

1.一种基于神经通路的中毒模型测试方法，其特征在于，包括以下步骤：

(1)获取待检测模型，并将测试样本输入至待检测模型中，计算待检测模型的Top-k神经通路；

(2)依据Top-k神经通路和测试样本的预测值与真实标签的交叉熵构建损失函数，并将损失函数的梯度值作为扰动添加到测试样本得到扰动样本；

(3)利用待检测模型获得测试样本的预测标签和扰动样本的预测标签后，并根据预测标签计算测试样本的标签变化率，依据标签变化率判断待检测模型是否中毒。

2.如权利要求1所述的基于神经通路的中毒模型测试方法，其特征在于，所述待检测模型的Top-k神经通路表示为：

其中，表示功能函数，表示在给定输入的测试样本x∈T，神经元n∈N时，第l层所得到的神经元的激活值，max_k(·)表示提取每层中激活值前k大的k个神经元的激活值，U表示求交集，T表示一层输入的测试样本总数，N为一层神经元总个数。

3.如权利要求2所述的基于神经通路的中毒模型测试方法，其特征在于，所述损失函数loss为：

其中，loss₁表示交叉熵损失，loss₂表示通路损失，λ表示平衡参数，取值范围为0～1，i为测试样本索引，N表示测试样本总个数，H_i(y_i,y′_i)分别表示测试样本的预测值y′_i与真实标签y_i的交叉熵。

4.如权利要求1所述的基于神经通路的中毒模型测试方法，其特征在于，在获得损失函数的梯度值后，当梯度值满足最小值不小于0，且最大值不超过255时，将该梯度值作为扰动添加到测试样本，得到扰动样本。

5.如权利要求1或4所述的基于神经通路的中毒模型测试方法，其特征在于，采用以下方式将扰动添加到测试样本得到扰动样本：

x′＝x+s*grad

其中，x′表示扰动样本，x表示测试样本，s表示迭代步长，grad表示损失函数的梯度值，也就是扰动。

6.如权利要求1所述的基于神经通路的中毒模型测试方法，其特征在于，在循环迭代计算损失函数的梯度值并添加到测试样本得到扰动样本过程中，设置迭代终止条件为：a、达到循环最高上限值；b、实现类标翻转；当满足任意一个迭代终止条件，则结束添加扰动，获得扰动样本。

7.如权利要求1所述的基于神经通路的中毒模型测试方法，其特征在于，采用以下方式计算标签变化率

其中，T_j表示第j类的所有测试样本，|T_j|表示第j类的所有测试样本的数量，x^j表示第j类的测试样本，f(x^j)表示第j类的测试样本的预测标签，f(x^j′)表示第j类的测试样本对应扰动样本x^j′的预测标签，|{x^j|x^j∈Xandf(x^j′)≠f(x^j)}||表示出现标签翻转的样本数量。

8.如权利要求1所述的基于神经通路的中毒模型测试方法，其特征在于，根据标签变化率判断待检测模型是否中毒时，若标签变化率高于设定阈值，则认为待检测模型内部安插了潜在后门，即表示中毒。