[发明专利]带时延发布的满足差分隐私的在线学习方法

说明书

本发明提供了一种带时延发布的满足差分隐私的在线学习方法，通过时延发布及加噪操作，实现较高精度的保护隐私的在线学习，包括：选定隐私参数(∈，δ)及发布时间1≤t₁＜t₂＜…＜t_m≤T；随机初始化并发布初始模型x₁；在时刻t＝1，2，...，T，根据一定规则更新x_t‑1得到若t∈{t₁，t₂，...，t_m}，则根据隐私参数(∈，δ)对加噪并发布加噪后的模型x_t。由于发布轮数较少，相应隐私损失较少，通过合理地控制发布轮数，在相同的隐私损失预算下，可得到更小的regret损失；由于发布轮数较少，因而通信开销较小。

技术领域

本发明涉及隐私保护、机器学习领域，尤其涉及一种带时延发布的满足差分隐私的在线学习方法。

背景技术

在线学习，作为机器学习的重要分支，其特点是基于用户的在线到达的反馈信息不断更新训练模型，并利用该模型为之后的用户提供服务。可以看到，若用户的反馈信息包含其隐私信息，则该训练过程可能通过模型将其隐私泄露给之后的用户。对于保护隐私的在线学习，一条重要的研究思路是使用差分隐私方法进行设计，即通过扰动(加噪)为该训练过程引入不确定性，从而使得攻击者无法通过模型准确推断用户的隐私信息。对于满足差分隐私的在线学习算法，现有的设计主要包含两条思路：1)直接对训练模型进行扰动；2)对训练过程中的一些中间结果进行扰动。另一方面，满足差分隐私的在线学习算法可以被推广到分布式场景。

现有的满足差分隐私的在线算法的误差(通过regret损失衡量，即模型的累计误差与最优单一模型对应误差的差值)大都远劣于非隐私在线学习的regret损失。

发明内容

有鉴于此，本发明的主要目的在于提供一种带时延发布的满足差分隐私的在线学习方法，以期部分地解决上述技术问题中的至少之一。

为了实现上述目的，作为本发明的一方面，提供了一种带时延发布的满足差分隐私的在线学习方法，通过时延发布及加噪操作，实现较高精度的保护隐私的在线学习，包括：

选定隐私参数(∈,δ)及发布时间1≤t₁t₂…t_m≤T；

随机初始化并发布初始模型x₁；

在时刻t＝1，2,…,T，根据一定规则更新x_t-1得到若t∈{t₁,t₂,…,t_m}，则根据隐私参数(∈,δ)对加噪并发布加噪后的模型x_t。

其中，还包括若t在t_i到t_i+1之间，学习方发布的模型为x_ti。

其中，根据特定的在线学习问题，除隐私参数与发布时间外，还需选定模型可行域同时发布时间可不事先选定，而使用自适应的方式进行选择；若选定了模型可行域所述初始模型需落在模型可行域中。

其中，所述一定规则为在线学习模型更新方法，所述在线学习学习模型更新方法包括梯度法、Follow the Leader算法和Hedge算法。

其中，所述根据一定规则更新x_t-1得到在更新过程中，若更新规则需要使用到之前的模型，根据实际需求及算法设计，能够使用加噪模型或加噪前的模型；若模型未更新，则学习方可以不发布模型，用户可直接调用上一次发布的模型，以此减少通信开销。

作为本发明的另一方面，提供了一种带时延发布的满足差分隐私的分布式在线学习方法，通过时延发布及加噪操作，实现较高精度的保护隐私的分布式在线学习，包括：