[发明专利]一种面向联邦学习的对抗样本投毒攻击方法

说明书

一种面向联邦学习的对抗样本投毒攻击方法，定义如下场景，假设有m个参与者参与训练，m＝2，假设第k个参与方是攻击者，其攻击的目标是其本地模型参数在参与聚合后，使得联邦学习全局模型在测试集上的性能尽可能差；首先，攻击者通过给本地私有训练样本添加一些人眼无法察觉的对抗扰动以生成“有毒”的对抗样本，并基于这些样本进行本地训练；其次，为了主导全局模型的训练过程，攻击者在本地训练过程中提高训练学习率以加速恶意模型参数的生成；最后，攻击者将其本地模型参数上传至服务器端参与聚合以影响全局模型。在本发明的攻击下联邦全局模型性能显著下降，本发明的攻击方法显示出良好地泛化性能。

技术领域

本发明属于联邦学习安全技术领域，具体涉及一种面向联邦学习的对抗样本投毒攻击方法。

背景技术

尽管机器学习技术已经广泛应用于各个领域，然而数据孤岛和数据隐私问题仍然是阻碍其发展的两大挑战，如:在医疗应用方面，要训练一个性能良好的机器学习模型，需要各个医疗机构或者部门提供大量可以描述患者症状的信息，而医疗数据往往具有很强的隐私性和敏感性。同样，在一个城市的应急、后勤和安保等信息部门中会产生大量的异构数据，这些数据以数据孤岛的形式存在，无法整合利用。为了解决上述问题，联邦学习技术应运而生，不同于机器学习模型，它采用分布式的架构，不需将数据集中存储后再进行模型训练，而是将该过程转移至本地训练参与方，通过向中心服务器提交本地模型参数的方式保护用户隐私。

然而，研究表明，尽管联邦学习有效的解决了机器学习中的数据孤岛和数据隐私问题，但是其仍然存在很多安全问题，如:恶意参与方在训练阶段对联邦学习系统进行攻击，这会导致联邦学习全局模型失效和参与方隐私泄露等问题。根据恶意参与方的攻击目的不同，可分为推理攻击和投毒攻击。恶意参与方对联邦学习进行推理攻击旨在推理训练过程的信息，如:其他参与方的训练样本和标签等；恶意参与方通过控制本地模型参数更新或者本地训练样本实现对联邦学习系统的投毒攻击，使得全局模型进行错误预测。具体地，可分为模型投毒攻击和数据投毒攻击。目前，对联邦学习的数据投毒攻击的研究主要集中在标签反转攻击和后门攻击，它们都是针对联邦学习的有目标攻击，目的是使全局模型实现对特定目标的预测。另一种对训练样本进行修改以实现攻击的方法是在训练样本中加入噪声，但是此类攻击主要是在模型测试阶段进行。目前，将此类攻击应用在联邦学习的训练阶段的研究相对较少。

发明内容

为了解决上述存在的问题，本发明提出：包括如下步骤：

S1、攻击者通过给本地私有训练样本添加一些人眼无法察觉的对抗扰动以生成“有毒”的对抗样本，并基于这些样本进行本地训练；

S2、为了主导全局模型的训练过程，攻击者在本地训练过程中提高训练学习率以加速恶意模型参数的生成；

S3、攻击者将其本地模型参数上传至服务器端参与聚合以影响全局模型。

本发明的有益效果为：

不同于传统的机器学习，在联邦学习系统中，一方面，在服务器端需要对各个本地参数进行联邦平均聚合，这会对恶意参与方的参数进行缩小，从而削弱了恶意端的毒性。另一方面，聚合过程中其他非恶意参与方也会使得最终模型参数偏移攻击者的模型参数，进一步削弱攻击效果。

本发明针对联邦学习系统的对抗样本的投毒攻击证明了对抗样本不仅在测试阶段可以攻击联邦学习系统，在训练阶段也会对联邦学习系统造成巨大的威胁。此外，本发明研究发现，学习率是影响攻击成功率的一个重要的因素，实验表明恶意参与方使用对抗样本和较大的学习率进行本地训练可以有效的攻击连联邦学习系统，使得全局模型的测试准确率显著下降。同时，实验结果显示，本发明的攻击方法具有很好地泛化性能，当训练参与方的模型发生改变时仍然具有很好的攻击效果。在本发明的攻击下，相比机器学习，联邦学习系统更加脆弱。

附图说明