[发明专利]可解释性深度学习的差分隐私保护方法

说明书

本发明公开一种可解释性深度学习的差分隐私保护方法，通过在FF‑CNN的第一层卷积层加入差分隐私保护以及在模型的输出层的损失函数中加入差分隐私，保证了模型的输入与输出端的安全，从而保护了模型数据提供者的个人隐私，并且通过在第二次采样层得到的数据特征利用k‑means++算法进行聚类后，进行mixup插值法进行数据增强，提升整个模型的鲁棒性。本发明基于可解释性深度学习模型的隐私保护策略，使得模型使用者可以利用深度学习模型得到具有可解释性的结果并且不泄露个人的隐私信息。

技术领域

本发明涉及深度学习与隐私保护技术领域，具体涉及一种可解释性深度学习的差分隐私保护方法。

背景技术

近年来，深度学习是机器学习研究的一个新领域。它就像人类大脑一样，有能力学习和处理复杂的数据，并尝试解决负责的任务。由于这种能力，它被用于各种领域内，例如文本提取，声音识别，图像分类与识别等。卷积神经网络(CNN)作为深度学习的一种具有代表性的网络结构，广泛被应用于各类图像识别，语义分割的场景，卷积神经网络从宏观的概念上来讲，可以分为特征提取和特征识别两大部分，通过卷积(convolution)操作与采样(pooling)操作对原始图像进行有效的特征提取，然后通过全连接层(full connection)的变换对提取出来的有效特征进行精准识别。然而，卷积神经网络的训练需要大量的数据，这些数据中包含着用户个人的敏感信息，如果卷积神经网络模型不加以保护直接发布出来的话，将会对数据提供者的隐私造成一定的泄露，那么数据提供者的利益也将受到损害，导致不愿再提供数据的结果，从而影响模型的训练。

对于深度学习的模型来说，就是一个黑盒子，数据拥有者看不到模型是通过什么动作或者原因得出这样一个判断结果，这样对于深度神经网络模型做出的决策，使用者常常会持有怀疑的态度。即使，模型的预测精度已经达到很高的程度。所以，可解释性的深度神经网络对于深度学习的发展具有很大的促进作用，然而可解释性的深度神经网络仍然存在隐私泄露的问题，需要采取一定的隐私保护手段来保证数据提供者的隐私。

目前，在机器学习隐私保护方面，差分隐私已经成为最有发展潜力的隐私保护技术之一。差分隐私是保证相邻数据集相差一条记录对于两个数据集的输出几乎没有影响，其保护方式是通过在查询函数的返回值中加入适量的噪声来实现的，攻击者无法通过设计的攻击模型来窃取模型的原始数据。然而，现有满足差分隐私的卷积神经网络模型都是对于普通的卷积神经网络结构的，对于可解释性卷积神经网络模型的隐私保护手段几乎没有，可解释性卷积神经网络对于模型的参数更加依赖，这样对于白盒或者黑盒的攻击手段，更加容易泄露数据提供者的隐私。可解释性卷积神经网络的隐私保护更加具有意义和挑战性，主要体现在以下几个方面：

(1)可解释性与隐私性的结合，既可以给数据提供者带来对模型决策结果的解释，又可以在不失去解释性的前提下对提供者的隐私足够的保障，使用数据提供者实用性和安全性上都有足够的保障。

(2)在保证卷积神经网络模型的精度不降低以及可解释性的清晰度不减弱的前提下，如何精准加噪，减少噪声对于模型的影响十分关键。

发明内容

本发明针对可解释性卷积神经网络模型在训练以及推理过程中产生的隐私泄露问题，提供一种可解释性深度学习的差分隐私保护方法。

为解决上述问题，本发明是通过以下技术方案实现的：

可解释性深度学习的差分隐私保护方法，包括步骤如下：

步骤1、初始化可解释性深度学习模型，该可解释性深度学习模型基于前向传播的可解释性卷积神经网络，并依次包括输入层、第一卷积层、第一采样层、第二卷积层、第二采样层、第一全连接层、第二全连接层和输出层；

步骤2、将给定的数据集进行归一化处理后，作为可解释性深度学习模型的训练数据集；

步骤3、利用步骤2的训练数据集对步骤1所得的可解释性深度学习模型的第一卷积层进行训练，以更新可解释性深度学习模型；即：