[发明专利]一种基于联邦学习的异构模型聚合方法和系统

说明书

本发明涉及联邦学习领域，为基于联邦学习的异构模型聚合方法和系统，其方法包括步骤：初始化神经网络模型；每个客户端贡献出部分本地数据上传到服务端以形成共享数据集，并训练出CGAN模型；客户端利用本地数据集和CGAN模型生成的数据集训练本地模型，对共享数据集每个数据进行预测并将预测分数上传到服务端；服务端计算各客户端预测分数偏差程度并将计算结果的倒数作为权重，计算全局预测分数，使用全局预测分数对服务端模型进行知识蒸馏；客户端从服务端下载其它客户端模型的预测分数进行合作训练；多次迭代后模型收敛。本发明能够解决客户端数据异质问题，客户端模型上传和下载的是对于共享数据集的预测分数，减少了客户端和服务端间的通讯量。

技术领域

本发明涉及联邦学习领域，具体涉及一种基于联邦学习的异构模型聚合方法和系统。

背景技术

当今深度学习领域发展迅猛，然而深度学习有一个明显的缺点，那就是需要大量数据来进行训练才能达到较好的性能。近年来，重视数据隐私和安全已经成为了世界性的趋势，同时，大多数行业数据呈现数据孤岛现象，如何在满足用户隐私保护、数据安全和政府法规的前提下各方联合训练出一个优秀的模型，联邦学习是解决这一个问题的关键技术。

联邦学习发展至今，仍然面临许多挑战。其中最重要的两个方面是客户端模型的异构和本地数据的差异。由于每一个客户端不一定相同且处在不同空间中，这就导致了各个客户端的通讯量、算力以及所拥有的数据有很大差异，而这些差异会严重影响各个客户端联合训练的模型质量。

近年来有人提出一种新的方法，允许不同的客户端根据其算力设计不同的网络结构，每个客户端每轮下载全部客户端模型对共享数据集的平均预测分数，并使用知识蒸馏让客户端本地模型去拟合这个平均预测分数，从而学习到全局共识。这种方法仍有一些缺点如下：

1.该方法仍未较好地解决客户端数据异质问题，在各个客户端本地数据集非独立同分布的条件下，各个客户端的模型性能相差较大，公平性较差。

2.在求全部客户端模型对共享数据集的平均预测分数只采用简单平均方法，未考虑各个客户端模型性能的差异，导致如果某些客户端模型性能较差，会严重影响平均预测分数的质量。

近年来还有人提出另一种新的方法。该方法中每一轮随机选择一些客户端发送上一轮的聚合模型参数，客户端利用本地数据更新参数并将更新后的参数发送给服务端。服务端将接收到的模型参数取权值平均后，再利用未标记的数据或通过生成器生成的数据(例如GAN)进行集成蒸馏得到这一轮的聚合模型参数。这种方法仍存在一些缺点如下：

1.客户端仍需要向服务端上传和下载模型参数，通讯量问题未得到有效解决。

2.该方法中服务端需要将各个客户端的模型参数进行平均，所以客户端模型并非完全异构，而是必须要某些客户端模型同构，也只有模型结构相同的客户端模型才能进行聚合。

发明内容

为解决现有技术所存在的技术问题，本发明的目的是提供一种可以较好的解决客户端数据异质问题，并且允许客户端模型异构以及向服务端发送预测分数来减少通讯量的联邦学习方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于联邦学习的异构模型聚合方法和系统，包括以下步骤：

S1、每个客户端含有本地数据集并且初始化一个神经网络模型，服务端初始化一个神经网络模型；

S2、每个客户端贡献出一小部分本地数据集，将其上传到服务端；

S3、服务端形成一批共享数据集，并利用共享数据集训练出CGAN模型；

S4、每个客户端从服务端下载共享数据集和CGAN模型到本地；

S5、服务端随机选取若干个客户端；