[发明专利]一种可防御拜占庭攻击的联邦学习图像分类方法

说明书

本发明公开了一种可防御拜占庭攻击的联邦学习图像分类方法，通过计算工作节点总信息熵以及各个工作节点的局部信息熵从而得到工作节点的信息熵增益，利用工作节点的信息熵增益取值剔除存在问题的设备再更新模型参数，从而保证了当工作节点受到拜占庭攻击时基于联邦学习的图像分类模型训练的效果，最终实现了对于拜占庭攻击的防御；本发明基于模型训练过程中的模型参数进行计算，算法具有低时间复杂度和空间复杂度，能够实现快速响应，同时由于梯度的计算使用于多种机器学习算法中，因此该方法具有较好的泛化性。

技术领域

本发明属于机器学习中的图像分类技术领域，具体涉及一种可防御拜占庭攻击的联邦学习图像分类方法。

背景技术

数据孤岛和数据隐私是限制人工智能技术发展的两个主要因素。联邦学习是一种针对分布式数据的机器学习框架，模型训练参与者可以在不共享数据的前提下协同训练全局模型，在保证数据隐私的同时打破数据孤岛，加速机器学习模型训练，适用于训练采用非独立同分布(Non-IID)数据的模型。目前，联邦学习被广泛应用于金融、保险、医疗、新零售等领域。

参数服务器(Parameter Server)结构是最为著名的联邦学习结构，其通过迭代来完成模型的训练更新。联邦平均(FedAvg)算法是在参数服务器结构的基础上形成的，广泛应用于联邦学习中，其能够应对联邦学习中特有的数据隐私等问题，在利用该结构进行图像分类模型的训练时，主要包括两个步骤：第一步，从所有参与训练的工作节点中随机选取一部分的工作节点作为本轮迭代的训练对象，对于选中的工作节点，工作节点将对当前所收集的用于训练的图像数据进行预处理，同时从服务器节点接收全局模型参数，利用最新的全局模型参数进行模型的训练并得到最新的本地模型参数，随后最新的模型参数将会被发送给服务器节点来进行全局模型的更新。第二步，服务器节点将根据各个工作节点最新的本地模型参数信息来更新全局模型，然后将更新后的全局模型广播至所有工作节点并开始下一次的迭代更新过程。在基于参数服务器结构的联邦学习中，工作节点经常会部署在边缘节点，而服务器节点经常位于云端。

然而，在联邦学习中，为了保护用户的隐私，工作节点之间不允许共享数据，因此服务器节点不知道工作节点是正常的参与者还是恶意的攻击者，这就使得训练过程很容易受到攻击。在模型训练过程中，攻击者可操控多个参与者的本地训练过程，在服务器参数聚合的时候恶意修改参数值，实现攻击，从而影响全局模型训练的精度和收敛性。在联邦学习中，最典型的攻击方式是拜占庭攻击(Byzantine Attack)，它试图篡改参与者提交的模型更新的参数值，使得模型参数的实际收敛过程偏离正确方向，进而影响全局模型的精度和收敛性。

鲁棒聚合算法是为了解决拜占庭攻击而提出了，其分为两类：基于防御的算法和基于检测的算法。基于防御的算法以一种抵抗拜占庭攻击的方式计算聚合模型参数，该方法的一个原型思想是估计并计算服务器节点所接收到的工作节点模型更新的最优聚合。基于检测的算法则试图在全局模型聚合过程中区分恶意工作者和良性工作者，并清除恶意工作者，其利用预先训练的检测模型在模型聚合过程中检测和删除恶意模型更新，检测模型在没有攻击的数据上进行训练。总体来说，基于防御的算法在安全性上更优于基于检测的算法，同时也更适用于图像识别。

然而实验显示基于防御的算法仍有一定局限性，即当攻击者数量逐渐增加时可能将无法防御攻击者的恶意攻击，或者虽然可以轻微抵抗攻击，但其精度仍然远远低于无攻击时的效果。

发明内容

有鉴于此，本发明提供了一种可防御拜占庭攻击的联邦学习图像分类方法，实现了具有较强抵御拜占庭攻击能力的图像分类功能。

本发明提供的一种可防御拜占庭攻击的联邦学习图像分类方法，包括以下步骤：