[发明专利]基于联邦学习和深度学习的稀疏数据聚类方法及装置

说明书

本申请公开了一种基于联邦学习和深度学习的稀疏数据聚类方法，包括多个参与方和横向联邦学习框架中的仲裁方，多个参与方和横向联邦学习框架中的仲裁方均各自持有一份无标签稀疏数据，无标签稀疏数据的数据特征相同，样本不同；方法应用于参与方，包括：生成密钥，并与其它参与方交换密钥；根据所持有的无标签稀疏数据训练基于深度学习的聚类模型，得到本地模型；根据密钥将本地模型的参数加密后发送给assist‑trainer；assist‑trainer将所有参与方发送的模型参数进行聚合平均，得到最终的全局模型。本申请在不公开明文数据的前提下，可以安全整合存储于不同机构和平台的无标签稀疏数据，极大地扩充样本量，提升了模型精度。

技术领域

本申请涉及数据处理技术领域，具体涉及一种基于联邦学习和深度学习的稀疏数据聚类方法及装置。

背景技术

在现代社会中，随着信息的爆炸式增长，数据量也呈现出爆炸式增长，数据形式也越来越多样化。在数据挖掘领域，常常要面对海量的复杂型数据，其中，海量无标签且稀疏的数据正在越来越被人们所注意。

无标签稀疏数据可能来自于不同的平台和机构，随着数据隐私及安全保护的重要性日益提升，不同的平台和机构之间无法分享全量明文数据，而整合分析不同来源的数据能为各个专业领域的研究提供理论基础。因此，基于隐私保护技术实现无标签稀疏数据的整合，并基于深度学习方法对其进行聚类分析有重要意义。

目前，已有的无标签稀疏数据分析方法的主要目标是解决数据稀疏性高、技术局限导致的假0现象和不同来源数据之间的高度异质性问题；具体的方法包括：谱聚类方法、深度学习方法等。

谱聚类方法是从图论中演化出来的算法，主要思想是把数据看作空间中的点，点之间可用边连接起来，距离较远代表点之间边权重低，反之则高；随后通过对所有数据点组成的图进行切分，让切分后的子图间边权重尽可能低，子图内的边权重尽可能高，从而完成聚类。但是，谱聚类方法依赖全图的拉普拉斯矩阵，此矩阵的计算和存储过于复杂，成本很高；对于特定的样本数量而言，拉普拉斯矩阵的计算和存储具有平方或超平方的复杂度，矩阵的分解甚至需要立方阶复杂度；另外，谱聚类方法并不完全适配无标签稀疏数据的特点：过度离散和零膨胀，导致聚类结果准确度不足。

面向无标签稀疏数据的深度学习方法多基于自动编码器，通过无监督学习的方式进行特征降维；其本质上会重复运行若干次自动编码器，将前一次的最终输出作为下一次运行的初始输入，然后再利用隐藏层特征进行聚类。但是，深度学习方法并未针对无标签稀疏数据分析中的聚类过程进行设计和优化，在高维度数据上的聚类性能劣于低维度数据。

综上可知，目前的无标签稀疏数据分析方法并不能解决因数据分布于不同机构和平台而无法安全整合的问题。

发明内容

为此，本申请提供一种基于联邦学习和深度学习的稀疏数据聚类方法及装置，以解决现有技术存在的因无标签稀疏数据分布于不同机构和平台而无法安全整合的问题。

为了实现上述目的，本申请提供如下技术方案：

第一方面，一种基于联邦学习和深度学习的稀疏数据聚类方法，包括多个参与方和横向联邦学习框架中的仲裁方，多个参与方和横向联邦学习框架中的仲裁方均各自持有一份无标签稀疏数据，无标签稀疏数据的数据特征相同，样本不同；

所述方法应用于参与方，包括：

生成密钥，并与其它参与方交换密钥；

根据所持有的无标签稀疏数据训练基于深度学习的聚类模型，得到本地模型；

根据所述密钥将所述本地模型的参数加密后发送给assist-trainer；所述assist-trainer将所有参与方发送的模型参数进行聚合平均，得到最终的全局模型。

进一步的，所述本地模型的损失函数L为：