[发明专利]针对边云协同的联邦学习系统及方法

说明书

本发明的实施例提供针对边云协同的联邦学习系统和方法，包括边缘设备和云端服务器。每个边缘设备基于本地数据对全局模型进行训练，对训练后得到的模型参数进行加密并上传至云端服务器；云端服务器对从各个边缘设备接收的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；边缘设备采用来自云端服务器的模型参数更新其本地的全局模型以进行预测。该系统使得模型的鲁棒性、精确性和训练速度大幅提升。

技术领域

本发明涉及机器学习和数据处理技术，尤其涉及边缘设备与云端协同处理数据的方法和系统。

背景技术

在当前的移动时代，很多数据都是从诸如移动装置、可穿戴设备之类的边缘设备生成然后上传到云端服务器以供进一步分析和处理。云端服务器使用了从边缘设备中上传来的数据进行模型的训练，然后将经过多次训练的模型传输到每个边缘设备，从而使得边缘设备具有了推理能力。然而，边缘设备将原始数据传输到云端，造成用户的隐私信息暴露于公共网络，任何形式的网络攻击都可能使得数据安全受到威胁，会给用户带来极为严重的隐私泄露问题。除了数据的安全问题以外，将原始数据上传到云端所需要的传输带宽及时间成本也比较高。

发明内容

发明人研究发现如果不上传原始数据，而由边缘设备使用本地数据独立训练模型，虽然能够避免用户隐私泄露，但模型的精度会大大降低。这是因为每个边缘端设备的数据通常是有类似的特征的而仅是用户不相同，如果只是使用每个边缘端的数据来训练模型，那么很容易会发生过拟合的现象。而如果将多个边缘设备上的数据聚合起来，共同训练得到一个模型，则不仅不会发生过拟合现象，而且该模型的鲁棒性和精度将大大提升。因此，在本发明的目的在于提供一种边缘设备与云端服务器协同训练模型的系统和方法，能在保证训练模型的高精度的同时，避免用户隐私泄露，并减少数据传输的成本。

上述目的是通过以下技术方案实现的：

根据本发明实施例的第一方面，提供一种针对边云协同的联邦学习系统，其包括边缘设备和云端服务器。其中云端服务器被配置为：向参与协同的各个边缘设备下发初始的全局模型和密钥，以及对从各个边缘设备接收的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备。其中边缘设备被配置为基于本地数据对全局模型进行训练；根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；以及采用来自云端服务器的模型参数更新其本地的全局模型。

在一些实施例中，云端服务器对从各个边缘设备接收的模型参数进行聚合可以包括对从各个边缘设备接收的模型参数求平均值，以得到聚合后的模型参数。

在一些实施例中，边缘设备还可以被配置为将参与对全局模型进行训练的数据数目与训练后得到的模型参数一起上传至云端服务器。

在一些实施例中，云端服务器对从各个边缘设备接收的模型参数进行聚合可以包括将从各个边缘设备接收的数据数目作为其相应模型参数的权重，对从各个边缘设备接收的模型参数求加权平均值，以得到聚合后的模型参数。

在一些实施例中，可以采用同态加密算法对边缘设备与云端服务器之间传输的模型参数进行加密。

在一些实施例中，所述全局模型可以为极限学习机模型，其包括一个输入层、一个隐藏层和一个输出层。所述云端服务器向参与协同的各个边缘设备下发初始的全局模型可以包括指定用于该全局模型的输入权重、输入偏置和隐藏层节点数，以及其中所述边缘设备训练后得到的模型参数为该全局模型的输出权重。

根据本发明实施例的第二方面，提供了一种针对边云协同的联邦学习方法，该方法包括：由云端服务器向参与协同的各边缘设备下发初始的全局模型和密钥；由每个边缘设备基于本地数据对全局模型进行训练；由每个边缘设备根据来自云端服务器的密钥对训练后得到的模型参数进行加密并将加密后的模型参数上传至云端服务器；由云端服务器对从各个边缘设备收到的模型参数进行聚合，并将聚合后的模型参数返回至各个边缘设备；由每个边缘设备采用来自云端服务器的模型参数更新其本地的全局模型。