[发明专利]一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用

说明书

本发明公开了一种基于支持向量机的深度学习模型鲁棒边界评估方法、装置和应用，包括为用于分类任务的深度学习模型的每个分类类别分配一个支持向量机；将样本数据分别输入至深度学习模型和每个支持向量机，得到样本数据在深度学习模型和每个支持向量机的特征空间分布；针对每个支持向量机，以样本数据在支持向量机的特征空间分布与在深度学习模型的特征空间分布的散度指标作为损失函数优化支持向量机的参数；优化结束后，每个支持向量机的决策边界即为深度学习模型对与支持向量机对应的分类类别的决策边界，依据该决策边界实现对深度学习模型鲁棒边界评估，进而实现训练阶段深度学习模型的安全性评估与提升。

技术领域

本发明属于深度学习攻防领域，具体涉及一种支持向量机(SVM)的深度学习模型鲁棒边界评估方法、装置和应用。

背景技术

人工智能技术中的深度学习技术凭借在计算机视觉、自然语言处理等领域的良好表现而广泛应用于人机交互、无人驾驶等任务。在其逐步替代人类进行自主决策的过程中，由于深度学习自身存在黑盒模型解释性差、容易受到对抗攻击等问题，已经给网络安全和信息安全带来风险，会给社会安全带来意想不到的危害。

深度学习模型缺乏可解释性，对研究人员来说是个黑盒，难以通过数学推导的方式进行建模。为了实现对深度学习模型的可解释性，Robnik-Sikonja等(详见文献Robnik-M,Bohanec M.Perturbation-based explanations of prediction models[M]//Human and machine learning.Springer,Cham,2018:159-175.)通过对输入样本单个属性值的预测进行分解的方式来观察属性值对该样本预测结果的影响。Kim等(详见文献Kim B,Wattenberg M,Gilmer J,et al.Interpretability beyond feature attribution:Quantitative testing with concept activation vectors(tcav)[C]//Internationalconference on machine learning.PMLR,2018:2668-2677.)提出概念激活向量TCAV，并基于此设计了测试方法来量化模型预测对学习获得的高级概念的敏感度，从而完成对深度学习模型的解释。

针对序列数据中的依赖关系解释问题，Guo等提出了LEMNA，利用可解释模型来近似循环神经网络的局部决策边界。Hinton等提出了一种知识蒸馏方法，通过训练单一的相对较小的网络来模拟原始复杂网络或协同网络模型的预测概率。Frosst等扩展了Hinton的知识蒸馏方法，提出利用决策树来模拟复杂深度神经网络模型的决策，提升了蒸馏知识的可解释性。

然而，蒸馏模型只是对原始复杂模型的一种全局近似，所做出的解释不一定能反映待解释模型的真实行为。现有的深度学习模型攻防研究已经提出了大量对抗攻击与防御方法，但目前尚无法直接从模型的内部运行过程来分析攻防的有效性。

与此同时，已有一系列深度学习模型的可解释技术帮助理解深度学习的黑盒模型，其研究目的在于解释模型自动学习到的样本关键特征与分类边界等，但他们并不针对模型的对抗攻防做解释。

发明内容

鉴于上述，本发明的目的是提供一种支持向量机的深度学习模型鲁棒边界评估方法、装置和应用。通过利用支持向量机对深度学习模型的决策边界进行逼近，来研究深度学习模型的决策边界并分析分类效果，实现训练阶段深度学习模型的安全性评估与提升。

为实现上述发明目的，本发明提供以下技术方案：

第一方面，一种支持向量机的深度学习模型鲁棒边界评估方法，包括以下步骤：

为用于分类任务的深度学习模型的每个分类类别分配一个支持向量机；

将样本数据分别输入至深度学习模型和每个支持向量机，得到样本数据在深度学习模型和每个支持向量机的特征空间分布；