[发明专利]一种基于域鉴定的横向联邦模型聚合方法

说明书

本发明涉及隐私计算技术领域，具体为一种基于域鉴定的横向联邦模型聚合方法，包括以下步骤：收集多种数据集和神经网络制作域鉴定数据集；使用域鉴定数据集训练域鉴定模型；使用域鉴定模型指导联邦学习中的模型聚合过程；有益效果为：本发明提出的基于域鉴定的横向联邦模型聚合方法，利用域鉴定模型获取每个客户端训练后的模型与上一轮聚合模型之间的相似度，然后根据相似度得到各客户端模型权重，继续进行接下来的联邦学习过程。本发明结合了域鉴定技术，将不同客户端的不同分布看作不同的域，并使用域鉴定模型得到域之间的相似度，利用相似度来指导模型进行聚合，从而降低了非独立同分布对联邦学习过程带来的影响,提高了联邦学习最终的训练效果。

技术领域

本发明涉及隐私计算技术领域，具体为一种基于域鉴定的横向联邦模型聚合方法。

背景技术

数据作为当今战略性和基础性资源，不但是社会、企业、个人的重要组成部分，也是数字经济体系中技术创新、需求挖掘、效率提升的重要动能。然而，部分数据由于涉及到个人隐私或行业机密，只能在一定域内存储及使用，从而形成了大量的数据孤岛，各个孤岛之间数据无法互通，数据也就无法充分进行挖掘和利用。联邦学习作为隐私计算的一个重要分支，对于打通数据孤岛起着非常重要的作用。各个数据提供方通过联邦学习的方式对数据进行建模、训练，真正做到了数据在互不出域、互不可见的情况下，充分挖掘数据的潜在价值，同时能有效防止数据泄露带来的灾难性后果。

现有技术中，联邦学习分为横向联邦和纵向联邦，其中横向联邦学习为各数据持有方(client)分别使用自己的数据训练模型，然后通过参数服务器将各client上传的模型进行聚合后下发，如此循环，得到最终的聚合模型。然而由于各client数据分布不同，即数据集之间存在非独立同分布(Non-IID)情况，导致各客户端模型在聚合时出现效果差、难以收敛等情况，从而影响了联邦学习的最终效果。在这种情况下，如何有效的表示各数据集之间的分布差异并将差异应用到模型聚合过程中，使得联邦学习的效果趋近于集中式学习，成为了亟需解决的问题。

发明内容

本发明的目的在于提供一种基于域鉴定的横向联邦模型聚合方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于域鉴定的横向联邦模型聚合方法，所述横向联邦模型聚合方法包括以下步骤：

S1.收集多种初始数据集并切分；

S2.收集多种神经网络模型；

S3.使用切分后的初始数据集训练多种神经网络模型；

S4.使用训练后的神经网络模型与对应的训练数据集的“切分方式”组建为域鉴定训练集；

S5.使用域鉴定训练集对域鉴定模型进行训练得到域鉴定模型；

S6.在横向联邦学习过程中，使用上述域鉴定模型获得各客户端上传的模型与上一轮的聚合模型之间的相似度；

S7.利用相似度对各客户端模型进行加权平均，得到聚合模型；

S8.将聚合模型下发至客户端，继续训练；

S9.循环步骤S6-S8，直到联邦学习过程结束。

优选的，收集数据集后，按照标签类别将每个数据集划分为非独立同分布数据集组Non-IIDDG以及按照随机分配的方式将每个数据集划分为独立同分布数据集组IIDDG。

优选的，收集多种神经网络模型后，将每种模型分别在Non-IIDDG和IIDDG中的每个数据集进行训练，得到Non-IIDDG_M和IIDDG_M两组模型。

优选的，将Non-IIDDG_M中的同种模型两两配对，得到若干模型对，将每个模型对赋予标签值“0”，对IIDDG_M中的同种模型做同样操作，但赋予标签值为“1”，得到以模型对为特征，以“0”或“1”为标签值的域鉴定数据集DIDB。