[发明专利]一种基于差分隐私及随机梯度下降的数据分类方法

说明书

本发明公开一种基于差分隐私及随机梯度下降的数据分类方法，首先，将数据集中的数据分配到各个分布式计算节点上，通过Map分任务在每个节点上执行随机梯度下降算法，利用Reduce分任务进行更新模型合并操作；其次，在更新后的模型中加入适量拉普拉斯噪声，使最终随机梯度下降算法的目标模型满足ε‑差分隐私。本发明通过合理的计算资源分配与随机噪声添加策略，在满足差分隐私保护要求的同时，能够有效降低随机梯度下降算法因反复迭代而产生的通信开销，既提高算法效率又保证数据的私密性。

技术领域

本发明属于机器学习算法的隐私保护领域，具体涉及一种基于差分隐私及随机梯度下降的数据分类方法。

背景技术

机器学习(Machine Learning)是一门人工智能的科学,该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。

MapReduce是一个并行程序设计模型与方法(Programming ModelMethodology)。它借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map(映射)和Reduce(归约)两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理

差分隐私(Differential Privacy)是一种基于数据失真的隐私保护方法，该方法建立在坚实的数学基础之上，对隐私保护进行了严格的定义并提供了量化评估方法，使得不同参数处理下的数据集所提供的隐私保护水平具有可比较性。其基本原理是，用户通过查询函数F对数据集D进行查询操作，随机算法A通过对查询函数F进行扰动，使之满足差分隐私保护的条件。

梯度下降算法(Gradient Descent)是一种典型的求解无约束优化问题的方法，主要思想是朝着负梯度方向寻求目标的最优解。由于该算法具有适用性强、优化效果好等优点，其在机器学习中得到了普遍应用。随机梯度下降(Stochastic Gradient Descent)算法作为梯度下降算法的一种，由于其在每次迭代过程中不需要遍历所有数据，更适合运用在大数据背景下的机器学习中。但其仍存在两个亟待解决的难点：一是分布式计算架构下，计算节点间大量的通信开销导致的算法收敛速度下降问题。二是在数据挖掘过程中，存在泄露数据集中敏感隐私信息的风险。因此利用好大数据开发的同时做好敏感数据的隐私保护是近来的研究热点。

针对难点一，为实现在分布式计算框架下进行快速随机梯度下降，国内外已有诸多研究成果。有学者运用抽样概率方法，采用特殊非均匀策略构建minibatch来减少随机梯度差异，但其实质上依赖于样本之间的直接关联性；有学者通过记录历史梯度，并将自适应平均的历史梯度作用于当前迭代以降低迭代过程中随机梯度的方差，然而，机器学习过程存在诸多参数，频繁记录历史梯度的方法缺乏通用性；还有学者利用在每个单独节点执行一次梯度下降算法，然后合并平均模型得到最终模型，该方法虽然降低了通信开销，但由于单独节点的数据局限性和不同模型之间的差异性，无法利用全局数据提高运算性能。

针对难点二，目前较为先进的方法是将差分隐私应用于随机梯度下降算法中，有学者在随机梯度下降的每次迭代中加入扰动噪声，从而满足差分隐私保护的要求；还有学者通过子集采样方法减少每次迭代的噪声值，以此获得最佳收敛。然而，这两种方法都有其局限性，方法一在保证私密性同时影响了算法的运行效率和可用性，方法二为保证效率性和可用性，减少了噪声量的同时却又可能导致无法满足差分隐私保护的要求。

发明内容

发明目的：本发明提供一种基于差分隐私及随机梯度下降的数据分类方法，本发明改进的数据分发与模型合并方案以及不同的随机噪声添加方法，能够实现对随机梯度下降算法提供有效的差分隐私保护，并保证算法具有较高的效率。

发明内容：本发明提供一种基于差分隐私及随机梯度下降的数据分类方法，具体包括以下步骤：