[发明专利]一种神经网络模型知识重合度的度量方法及系统

说明书

本发明提供了一种神经网络模型知识重合度的度量方法，针对多个可微的端侧模型进行重合度度量，其特征在于，包括如下步骤：步骤S1针对所有端侧模型生成由伪样本构成的伪样本集；步骤S2将伪样本集输入训练好的编码器得到与端侧模型对应的多个高斯分布，计算高斯分布之间的距离，将计算结果作为知识重合度从而令用户掌握多个端侧模型的重合情况。其中，步骤S2包括将伪样本集输入原始编码器得到初始隐变量以及隐变量正态分布，并输入原始解码器得到解码样本；计算解码样本与伪样本之间的重构误差，并反向传播从而训练更新原始编码器得到编码器；将伪样本集输入编码器得到隐变量以及对应的高斯分布；计算高斯分布之间的距离从而得到知识重合度。

技术领域

本发明属于人工智能领域，具体涉及一种神经网络模型知识重合度的度量方法及系统。

背景技术

联邦学习是一种新兴的人工智能基础技术，由谷歌最先提出，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习。

考虑到用户域数据与开发数据差异较大，开发训练数据集无法覆盖所有用户场景，导致很多未见场景或类别识别错误或不支持。另外由于不同用户数据分布差异较大，统一部署的模型无法满足用户个性化需求，深度的个性化识别模型训练，导致模型更新难度大。这种情景称之为非独立同分布的用户数据。

在这种背景下，文[1]提出了FedAvg算法将模型权重直接平均来进行的端侧模型平均。这一方法虽然对于隐私保护有很好的效果，但是利用暴力的直接平均算法求取模型权重的平均值不能很好地度量模型蕴含的知识分布。同时，在非独立同分布的用户数据的情况下，FedAvg算法并不能很好的解决不同分布的模型知识汇聚问题。

文[2]提出联邦学习的概念，云侧拥有一个协调中心，获取全部用户的端侧模型进行聚合。联邦学习的设置下，各个端侧数据不离开本地，完全保护了各个端侧的数据隐私；但是如上，联邦学习采取的直接平均方法效果有限，而且只是对全部端侧模型进行聚合，聚合依据是端侧模型拥有的数据量，而不是根据端侧模型蕴含的知识，因此聚合效果并不理想。

因此，想要更好的实现模型聚合的效果，就需要获悉各个端侧模型之间的知识重合度。但目前，该领域从未有对模型所蕴含的知识进行度量的方法，所以本发明提出了一种神经网络模型知识重合度的度量方法，来对各个端侧用户的模型知识进行度量，从而更好的进行知识汇聚与模型聚合。

参考文献：

[1]H.Brendan McMahan,Eider Moore,Daniel Ramage,and Blaise Agüera yArcas.2016.Federated Learning of DeepNetworks using Model Averaging.CoRR abs/1602.05629(2016).arXiv:1602.05629.

[2]Jakub Konecny,H.Brendan McMahan,Felix X.Yu,Peter Richtárik,AnandaTheertha Suresh,and Dave Bacon.2016.Federated Learning:Strategies forImproving Communication Efficiency[7].

发明内容

为解决上述问题，提供一种既能够保护用户隐私又能展示端侧模型件知识重合度的度量方法及系统，本发明采用了如下技术方案：