[发明专利]基于神经网络和联邦学习的数据处理方法和系统

说明书

本发明实施例提供一种基于神经网络和联邦学习的数据处理方法和系统。该方法包括：根据联合建模任务确定加密解密神经网络，加密解密神经网络包括M个加密神经网络和一个解密神经网络；根据随机生成的训练数据对加密解密神经网络进行训练直至加密解密神经网络收敛；将M个训练好的加密神经网络发送至M个客户端，以使各客户端将拥有的本地数据以及联合建模任务的模型参数作为各个加密神经网络的输入数据，确定加密数据；接收各个客户端加密神经网络输出的加密数据，将加密数据输入解密神经网络，确定模型参数的梯度更新数据。本发明实施例的方法，在保证数据隐私的同时，实现了联合建模，且操作简便，提高了数据处理的效率。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于神经网络和联邦学习的数据处理方法和系统。

背景技术

各数据公司的数据是以孤岛的形式存在的，解决数据孤岛最直接的方式就是将数据整合进行集中式处理，例如一种典型的数据处理模式为一方收集数据，再转移到另一方进行处理、清洗并建模，最后把模型出售给第三方。在金融、互联网等领域，用户数据往往涉及用户隐私，对数据进行集中式处理将面临泄露隐私的风险。联邦学习是一种能够打破数据孤岛且能够保护用户数据隐私的有效手段。

联邦学习包括水平联邦学习、垂直联邦学习和迁移联邦学习。在水平联邦学习中，各数据公司拥有的本地数据包括每个样本完整的特征和标签，可以独立训练出模型参数，因此各数据公司只需要根据各自拥有的本地数据对待训练模型分别进行独立训练，然后交互梯度更新数据或者加密后的梯度更新数据，最后通过对梯度更新数据进行聚合即可完成一次迭代。然而在垂直联邦学习和迁移联邦学习中，各数据公司拥有的本地数据中不一定拥有每个样本完整的特征或标签，因此无法独立完成模型训练。

目前通常采用对样本特征进行补全的方法来解决垂直联邦学习和迁移联邦学习中数据特征不全的问题。例如在申请号为CN201811620130.X，发明名称为《基于联邦学习的模型参数训练方法、终端、系统及介质》的专利申请中，通过确定第一终端的第一样本与第二终端的第二样本的特征交集，根据特征交集分别对第一样本和第二样本中缺失的特征部分进行预测，以获得第一补全样本和第二补全样本，第一终端和第二终端分别采用第一补全样本和第二补全样本对待训练模型进行独立训练，然后交互损失值以实现联合建模。通过对样本特征进行补全，虽然能够解决垂直联邦学习和迁移联邦学习中数据特征不全的问题，实现联合建模，但是该方法操作复杂、效率低，亟需一种针对垂直联邦学习和迁移联邦学习的高效的数据处理方法。

发明内容

本发明实施例提供一种基于神经网络和联邦学习的数据处理方法和系统，用以解决垂直联邦学习和迁移联邦学习中的问题。

根据第一方面，一种实施例中提供一种基于神经网络和联邦学习的数据处理方法，包括：

根据联合建模任务确定加密解密神经网络，加密解密神经网络包括M个加密神经网络和一个解密神经网络，M为参与联合建模的客户端的数量，M≥2；

根据随机生成的训练数据对加密解密神经网络进行训练直至加密解密神经网络收敛；

将M个训练好的加密神经网络发送至M个客户端，以使各客户端将拥有的本地数据以及联合建模任务的模型参数作为各个加密神经网络的输入数据，确定加密数据；

接收各个客户端加密神经网络输出的加密数据，将加密数据输入解密神经网络，确定模型参数的梯度更新数据。

一实施例中，所述方法还包括：

根据梯度更新数据对模型参数进行更新；

或者，

将梯度更新数据发送至M个客户端，以使各客户端根据梯度更新数据对模型参数进行更新。

一实施例中，根据梯度更新数据对模型参数进行更新包括：