[发明专利]提升贝叶斯神经网络对抗防御能力的方法及系统

说明书

本发明提供一种提升贝叶斯神经网络对抗防御能力的方法及系统，涉及深度学习方向的贝叶斯神经网络和对抗防御技术领域，该方法包括：网络训练步骤：输入初始数据，通过优化交叉熵损失函数和参数分布与先验分布之间的KL散度，对初始数据进行训练；鲁棒性增强步骤：贝叶斯神经网络的参数作为输入，通过计算并优化网络参数矩阵的谱范数的数学期望，根据优化后的数学期望降低网络对各种噪声的敏感性，从而提升贝叶斯神经网络模型对对抗噪声的防御能力。本发明能够有效地提升贝叶斯网络模型的对抗鲁棒性，有效增强网络模型在现实问题中的应用前景；有效降低网络模型输出的不确定性，使得网络对对抗样本的预测更有一致性，提升网络模型的噪声抗性。

技术领域

本发明涉及深度学习方向的贝叶斯神经网络和对抗防御技术领域，具体地，涉及一种提升贝叶斯神经网络对抗防御能力的方法及系统。

背景技术

贝叶斯神经网络(Bayesian neural networks)是深度学习领域的一种特殊的神经网络架构。相比于传统的神经网络方法，贝叶斯神经网络中的参数是随机变量而非常数。因此，即使对于相同的输入，网络在多次运行中的输出也会有所差别，相当于是从一个固定的概率分布中进行采样。这给予了贝叶斯神经网络建模数据不确定性和模型不确定性的独特能力，也因此为网络的输出提供了一定的可解释性，使得贝叶斯神经网络在计算机视觉、自然语言处理、数据挖掘等领域得到了广泛的应用。

对抗防御(Adversarial Defense)是一个在深度学习领域增强模型对对抗噪声(Adversarial Noise)鲁棒性的研究领域。利普希兹常数是衡量网络对抗鲁棒性的一个重要标准，并且被现有的很多方法利用，提升了神经网络网络的鲁棒性。然而，因为贝叶斯神经网络的独特的概率表示，利普希兹常数无法直接进行计算，导致现有的这些方法并不能直接应用在贝叶斯神经网络上。

另一方面，得益于独特的衡量不确定性的能力，贝叶斯神经网络已经被成功应用在对对抗样本的识别上，提升了模型的整体鲁棒性。此外，贝叶斯神经网络也被发现是天然具有一定的对抗鲁棒性的，甚至在一些理想情况下可以完全抵抗基于梯度生成的对抗噪声。然而，由于在实际应用中理想情况无法达成，在实际问题中贝叶斯神经网络的对抗鲁棒性仍然有很大的提升空间。

相对熵(relative entropy)又称为KL散度(Kullback–Leibler divergence，简称KLD)，信息散度(information divergence)，信息增益(information gain)。KL散度是两个概率分布P和Q差别的非对称性的度量。

公开号为CN110717522A的发明专利，公开了一种图像分类网络的对抗防御方法及相关装置，该方法包括：将原始图像样本及对抗攻击样本输入深度神经网络，以提取所述深度神经网络高于预定层数的目标层的输入特征；根据所述输入特征生成所述深度神经网络的损失函数，作为对抗防御去噪器；利用所述对抗防御去噪器对所述对抗攻击样本进行去噪，得到去噪后对抗攻击样本；对所述深度神经网络的损失函数进行正则化，得到正则化后的深度神经网络；将所述原始图像样本及所述去噪后对抗攻击样本，输入所述正则化后的深度神经网络，得到所述原始图像的分类结果。

发明内容

针对现有技术中的缺陷，本发明提供一种提升贝叶斯神经网络对抗防御能力的方法及系统。

根据本发明提供的一种提升贝叶斯神经网络对抗防御能力的方法及系统，所述方案如下：

第一方面，提供了一种提升贝叶斯神经网络对抗防御能力的方法，所述方法包括：

网络训练步骤：输入初始数据，通过优化交叉熵损失函数和参数分布与先验分布之间的KL散度的和，即为ELBO损失函数，对初始数据进行训练；

计算优化步骤：贝叶斯神经网络的模型参数作为输入，通过计算并优化网络参数矩阵的谱范数的数学期望；