[发明专利]深度学习模型恶意样本检测方法、系统、设备及存储介质

说明书

本发明属于智能系统安全领域，公开了一种深度学习模型恶意样本检测方法、系统、设备及存储介质，包括：获取初始模型，修改初始模型的全连接层参数得到若干变异模型；获取待检测样本，将待检测样本分别输入初始模型和若干变异模型，得到初始预测结果及若干变异预测结果；当初始预测结果与若干变异预测结果间的差异率小于预设检测阈值时，确定待检测样本为恶意样本；否则，确定待检测样本为正常样本。相比于现有的检测方法，本发明方法不需要对模型做更改，不需要提前获取恶意样本的先验知识，且对模型本身对正常样本的检测性能影响较小。

技术领域

本发明属于智能系统安全领域，涉及一种深度学习模型恶意样本检测方法、系统、设备及存储介质。

背景技术

智能系统广泛应用于人脸识别，恶意软件检测，自动驾驶，图像分类，自然语言处理等复杂场景。随着智能系统的广泛应用在安全相关的关键领域，智能系统的安全性问题得到了广泛关注，有研究者指出深度学习系统中可能存在后门攻击。智能系统的实现技术主要为深度学习技术，深度学习模型需要采集大量的数据，以及专有的训练智能模型的GPU计算服务器，由于缺乏时间、数据、或者设备等，我们不太可能从零开始训练模型，往往使用公开的预训练模型进行参数微调，模型共享和复用变得很普遍。

但是，由于深度学习模型黑盒原因，无法察觉这些公开的模型是否被植入了后门。攻击者利用在训练数据中，通过植入特殊的触发器(trigger)构造一定比例的恶意样本，将这些带触发器的恶意样本打上攻击者想要的目标标签，然后与正常的训练数据同时训练，训练出的模型在正常样本上与普通模型性能表现一致，但在加上触发器的恶意输入，可以使得模型的分类结果变为攻击者预先定义的标签。

目前，对于后门这种恶意样本的检测方法主要有两大类。其中，一种是判断模型是否被植入了恶意信息，并将这些被污染的神经元找出来，重新训练模型进行净化；但是，通过净化网络这种方法限定了触发器的大小，攻击者使用较复杂触发器时，经常导致无法净化网络。另一种是通过检测出带触发器的恶意样本并将其剔除，减少这种恶意样本对智能系统决策的破坏，但是具有较高的误报率和漏报率，影响模型对正常样本的检测性能。

发明内容

本发明的目的在于克服上述现有技术中，现有恶意样本的检测方法对恶意样本触发器大小具有局限性的缺点，提供一种深度学习模型恶意样本检测方法、系统、设备及存储介质。

为达到上述目的，本发明采用以下技术方案予以实现：

本发明第一方面，一种深度学习模型恶意样本检测方法，包括以下步骤：

S1：获取初始模型，修改初始模型的全连接层参数得到若干变异模型；

S2：获取待检测样本，将待检测样本分别输入初始模型和若干变异模型，得到初始预测结果及若干变异预测结果；

S3：当初始预测结果与若干变异预测结果间的差异率小于预设检测阈值时，确定待检测样本为恶意样本；否则，确定待检测样本为正常样本。

本发明深度学习模型恶意样本检测方法进一步的改进在于：

所述S1的具体方法为：

S11：获取初始模型并遍历初始模型的所有全连接层，得到每个全连接层的权重参数矩阵；

S12：通过高斯模糊测试建立每个全连接层的高斯分布噪音矩阵，并将每个全连接层的权重参数矩阵与对应的高斯分布噪音矩阵叠加，得到每个全连接层的变异矩阵；每个全连接层均采用变异矩阵内的参数更新权重参数，得到变异模型；

S13：重复预设次数S12，得到预设个变异模型。

所述S12中通过高斯模糊测试建立每个全连接层的高斯分布噪音矩阵的具体方法为：