[发明专利]一种基于长短梯度值的联邦学习恶意客户端检测方法

说明书

本发明公开了一种基于长短梯度值的联邦学习恶意客户端检测方法。首先该方法引入了长短梯度值用于检测恶意客户端和不可靠客户端，短梯度值用于平滑训练客户端的本地梯度值，可以消除单轮本地梯度值的随机性，长梯度值是记录所有时间内本地梯度值的总和，可以反映训练客户端的累积影响。同时，本发明考虑了符号翻转、附加噪声、单标签翻转和多标签翻转等攻击类型，分类型进行检测，可以区分恶意客户端的目标攻击和无目标攻击。本发明提供的方法用于检测联邦学习的恶意客户端，从而保证联邦学习的学习安全。

技术领域

本发明涉及联邦学习领域，具体来说，本发明具体涉及基于长短梯度值的联邦学习恶意客户端检测方法。

背景技术

近年来，随着计算能力增强的智能设备的普及，为在大量分布式设备上训练机器学习模型奠定了坚实的基础。分布式机器学习需要一个安全的传输数据的环境，所以分布式机器学习要求较高的网络带宽，但可能引发巨大的隐私问题，为此，谷歌引入了联邦学习的概念，联邦学习允许本地客户端协作训练一个全局模型，而不是让本地客户端的数据离开本地设备。

然而由于客户端的不受控制和分布式特点，还有服务器无法访问客户端的数据等问题，容易造成联邦学习容易受到来自客户端发起的恶意攻击。目前来说，恶意客户端的攻击有两种：1、无目标攻击，恶意客户端试图破坏全局模型的收敛；2、目标攻击，恶意客户端只在特定目标情况下破坏全局模型的收敛。同时，联邦学习的客户端中还存在良性的不可靠客户端，由于数据质量低或者学习不可靠，会影响全局模型的整体性能，而由于不可靠客户端可能拥有有价值的数据，所以并不能直接排除不可靠客户端。

综上所述，现有联邦学习架构中存在有如下缺陷：(1)由于联邦学习的客户端不受控制以及服务器无法访问客户端的数据，使得联邦学习容易受到客户端发起的敌对攻击。(2)外部攻击者可以从联邦学习客户端所传递的参数中重构出原始的训练数据，从而导致隐私泄露。因此利用长短梯度值分类型检测恶意客户端和不可靠客户端可以使联邦学习更安全可靠。

发明内容

为解决上述现有技术中存在的不足，本发明提供一种基于长短梯度值的联邦学习恶意客户端检测方法，解决联邦学习中客户端不受控制的问题，提高联邦学习的鲁棒性。

为了实现上述技术目的，本发明的技术方案为：

基于长短梯度值的联邦学习恶意客户端检测方法，其特征在于以下步骤，包括：

步骤一：中心服务器C发送初始梯度值w₁给所有训练客户端K＝{k₁，k₂，...，k_n}，每个训练客户端k_i∈K，i＝1，2，...，n根据各自本地的数据集利用初始梯度值w₁进行训练得到本地梯度值

步骤二：训练客户端k_i将本地梯度值发送给中央服务器C，中央服务器C根据梯度值的长短梯度值区分检测恶意客户端k_m和不可靠客户端k_u；

步骤三：中央服务器排除恶意客户端后，将正常客户端k_r和不可靠客户端k_u上传的梯度值进行加权聚合，得到全局梯度值w₂。

进一步的，根据权利要求1所述的基于长短梯度值的联邦学习恶意客户端检测方法，所述步骤二为了检测恶意客户端和不可靠客户端，引入了长短梯度值用于区分恶意客户端和不可靠客户端：

(1)利用表示在第r轮训练之前中央服务器从客户端k_i接收到的梯度值集合。那么在第r轮中训练客户端k_i的短梯度值可以表示为：

其中，x是一个动态的数值，这样可以选取需要的梯度值的学习轮数，短梯度值用来消除单轮梯度值的随机性。