[发明专利]一种面向深度学习的差分隐私可用性度量方法

说明书

本发明公开了一种面向深度学习的差分隐私可用性度量方法，首先将数据输入到神经网络模型中，计算出该随机化权重下的模型参数，在该参数下得到数据标签，与真实输出进行比较，得到此轮迭代的损失函数，利用损失函数的反向传播得到梯度值；其次定义衡量可用性的指标，并反推出该前提下隐私预算的大小，若预算不合适则在该值的基础上以一定增长率增加；最后，引入动量的思想，结合上一次梯度下降的方向对本次梯度方向进行优化，减少整体寻优过程的波动，加速模型的收敛。本发明用到了差分隐私、神经网络随机梯度下降、动量等技术，实现了数据传输过程中隐私性和可用性的平衡，并保证了神经网络训练过程的收敛性。

技术领域

本发明涉及一种面向深度学习的差分隐私可用性度量方法，属于数据安全和隐私保护技术领域。

背景技术

随着机器学习技术的快速发展，训练过程对数据的需求也越来越大，因此，造成信息泄露的几率也会越来越大。一旦用户的敏感信息被泄露，将对用户、企业带来严重的经济损失，甚至对国家和社会构成严重威胁。因此，亟需研究一种数据隐私保护技术，确保数据在发布过程中的安全性。

为了解决数据隐私保护问题，研究人员设计了多种加密机制，用于保护数据在发布与查询过程中的隐私信息。然而，传统的加密算法基于繁重的密码算法构造，计算复杂度较高。

差分隐私保护拥有严格的数学可解释性，且能够保护统计数据发布过程中的隐私信息，目前已被广泛应用于数据安全与隐私保护中。然而传统的加噪方法带来的随机性较大，对数据可用性带来不确定的影响，且加噪后对于神经网络随机梯度下降过程的收敛性会造成一定的影响。

发明内容

本发明提供一种面向深度学习的差分隐私可用性度量方法，用到了差分隐私、神经网络随机梯度下降、动量等技术，实现了数据传输过程中隐私性和可用性的平衡，并保证了神经网络训练过程的收敛性。

基于现有技术的不足，本发明要解决的问题是在保证数据隐私性和可用性的前提下进行神经网络训练过程，并保证其收敛性

为解决上述技术问题，本发明所采用的技术方案如下：

一种面向深度学习的差分隐私可用性度量方法，包括如下步骤：

步骤1：随机梯度下降训练：深度学习模型中神经网络的结构由神经元之间的连接触发，能够将数据从简单的特征抽象为复杂的结果；首先将数据输入神经元，然后从输入层到隐藏层到输出层执行前向传播，得到随机化权重下预测值和真实值之间的差值，再根据目标函数对误差的矫正进行反向传播，由梯度决定每次更新的大小和方向，并根据输入数据不断修正每个神经元获得的参数值；

步骤2：随机噪声生成：用拉普拉斯机制生成随机噪声来对梯度信息进行保护；

步骤3：可用性度量；

步骤4：隐私预算调整；

步骤5：数据加噪；

步骤6：梯度值更新。

上述步骤1包括：步骤1.1初始化参数：

随机初始化权重参数、epoch、batch大小以及迭代次数等神经网络需要的训练参数的大小；

步骤1.2从输入到输出计算中间值：

将数据输入神经网络，从输入到输出依次计算中间值，若第l层的第j个神经元上层共有k个神经元输出，对于此神经元来说激活函数即中间值为：经过逐层计算激活值，得到最终模型的输出其中，权重参数代表了中间第l-1层的第k个神经元向第l层的第j个神经元传递参数，表示第l层第j个神经元的偏置，表示第l层第j个神经元的激活函数的输出，表示第l-1层第k个神经元的激活函数的输出，其中σ即为这里的激活函数，本发明中采用的是ReLU函数；

步骤1.3得到实际输出与预测输出之间的损失：