[发明专利]一种基于无中心流式联邦学习的隐私保护方法、系统及终端

说明书

本发明公开了一种基于无中心流式联邦学习的隐私保护方法、系统及终端，通过边缘节点根据本地的实时数据流进行在线学习，然后基于本地模型参数的变化自适应地决定节点间通信交互时机，在通信交互时对模型参数进行基于拉普拉斯机制的隐私保护后与相邻节点进行广播式交互共享，而非通信交互时刻不进行参数传递以降低通信开销和隐私预算。最终，达到边缘节点在隐私保护的前提下协同地对全局数据流动态的模型训练和更新。本发明在实际大规模的分布式节点协同在线机器学习的隐私保护景中有着较好的应用效果，可用于在车联网驾驶智能、移动社交和在线推荐等应用场景中的数据隐私保护场景中。

技术领域

本发明属于人工智能领域，具体涉及一种基于无中心流式联邦学习的隐私保护方法、系统及终端。

背景技术

随着大数据技术的普及和人们对隐私保护意识的不断加深，数据隐私保护已成为阻碍大数据发展的核心瓶颈之一。数据通常蕴含大量敏感信息，且隶属于不同拥有者，因而具有高度碎片化特征，最终导致当前普遍存在的数据孤岛问题。人们隐私意识的不断加深将导致数据的采集、流动和分析各环节愈加受限；数据采集与应用也受到越来越多地域法律法规的约束。因此，随着数字经济需求和以深度学习为代表的数据分析技术的的进一步发展，数据隐私保护和数据孤岛问题将更加明显，成为大数据和人工智能发展的严重障碍。

针对敏感数据中的隐私问题，基于差分隐私的隐私保护机器学习，通过为机器学习模型引入随机噪声，从而限制模型对训练数据的隐私间接泄露风险。虽然差分隐私具有严格的数学基础和灵活的实现机制，但其所支持的数据分析任务的灵活性和数据分析的效用性仍然十分有限。针对非贯通数据的共享问题，联邦学习作为一种全新的分布式机器学习范式，主要思想在于无需用户将数据上传到服务器上集中训练，而是通过多次交换模型参量或梯度等中间信息实现模型的分布式训练。虽然联邦学习可以保证原始数据不暴露和不交换的直接隐私保护，但无法保证中间参数交互中的间接隐私保护。可见，基于差分隐私保护的机器学习和联邦学习的结合是同时解决数据隐私与数据孤岛的有效途径。

现有差分隐私联邦学习中都基于云中心服务器的场景，仍需要在云服务器进行模型聚合，区别只是在于中心服务器是否可信。实际场景中，由于边缘节点往往互不隶属而形成一种平等协作的关系。此时的联邦学习将没有居中协调的云服务器，而是以Peer-to-Peer(P2P)方式形成无中心的联邦学习。由于节点间相互的隐私信任问题，仍需利用差分隐私机制对交互模型参数的保护。同时，现有的隐私保护联邦学习方法大多都是针对批次数据的静态训练，而缺乏对流式数据实时在线训练等复杂任务和场景的高效支持。例如，在车联网场景中智能汽车需要实时采集丰富的驾驶与路况信息并与临近车辆进行协同交互和智能决策，从而达成一系列路径规划、实时避障等智能驾驶功能。然而，一方面，相关的驾驶行为、车辆位置、车辆环境数据可能包含相关驾乘人员的隐私信息，需要进行实时的隐私保护；另一方面，自动驾驶实时产生的数据体量非常庞大，实时连续通信和交互会带来极大的开销或者通信延迟影响驾驶安全。

发明内容

本发明的目的在于解决现有技术中的问题，提供一种基于无中心流式联邦学习的隐私保护方法、系统及终端，能够有效解决无中心场景下针对流式数据的联邦学习中的通信开销和隐私保护问题。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于无中心流式联邦学习的隐私保护方法，包括：

步骤1：基于边缘节点随机初始化模型参数和边缘节点利用前一轮次的最终模型参数预测得到的本轮先验模型参数，对本地模型进行更新；

步骤2：基于本地模型参数敏感度的校准结果添加噪声向量，对更新后的本地模型参数进行隐私保护；

步骤3：每个边缘节点将各自隐私保护后的参数共享给相邻边缘节点，并同时接收所有相邻边缘节点共享的参数；

步骤4：各边缘节点根据接收的所有相邻边缘节点的参数，更新自身的模型参数，得到后验模型参数；经过若干次的更新，各边缘节点逐步收敛得到相同的模型参数；