[发明专利]一种基于动态调整模型聚合权重的联邦学习方法在审
| 申请号: | 202110367421.8 | 申请日: | 2021-04-06 |
| 公开(公告)号: | CN113112027A | 公开(公告)日: | 2021-07-13 |
| 发明(设计)人: | 牟元凯;曾艳;袁俊峰;万健;张纪林 | 申请(专利权)人: | 杭州电子科技大学 |
| 主分类号: | G06N20/00 | 分类号: | G06N20/00 |
| 代理公司: | 浙江千克知识产权代理有限公司 33246 | 代理人: | 周希良 |
| 地址: | 310018 浙江*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 动态 调整 模型 聚合 权重 联邦 学习方法 | ||
1.一种基于动态调整模型聚合权重的联邦学习方法,其特征在于,所述方法包括以下步骤:
(1)云端服务器从各客户端接收局部训练模型和数据质量指标,若达到客户端权重更新条件,则针对各局部训练模型计算模型精度指标和模型差异指标,然后根据数据质量指标、模型精度指标和模型差异指标对模型训练精度的贡献为每个客户端计算贡献分数,并根据所述贡献分数加权平均生成全局模型;
所述模型精度指标是指各客户端的局部模型测试精度;所述模型差异指标是指局部模型和全局模型的欧氏距离;所述数据质量指标是指表示客户端数据分布情况的Wasserstein距离;
(2)云端服务器将更新后的全局模型下发给各个客户端,客户端接收到新的全局模型后,在本地训练数据上进行模型训练,并在训练结束后上传局部模型和数据质量指标给云端服务器。
2.根据权利要求1所述的一种基于动态调整模型聚合权重的联邦学习方法,其特征在于:步骤(1)中,所述客户端权重更新条件包括两种情况:
1)第一种是当本轮全局模型的测试精度相比上一轮全局模型的测试精度下降幅度超过设定阈值时,进行客户端贡献分数更新计算,所述阈值根据需求进行设置;
2)第二种是当有新客户端参与模型训练时,云端服务器为首次参与训练的新客户端计算客户端贡献分数。
3.根据权利要求1所述的一种基于动态调整模型聚合权重的联邦学习方法,其特征在于:步骤(1)中,所述对模型训练精度的贡献为每个客户端计算贡献分数是指,云端服务器将各客户端的数据质量指标、模型精度指标和模型差异指标分别归一化处理为C1,C2,C3,再为客户端计算贡献分数k表示客户端索引,式中F表示贡献评分计算算子,λi为权重,
4.根据权利要求1所述的一种基于动态调整模型聚合权重的联邦学习方法,其特征在于:步骤(1)中,根据所述贡献分数加权平均生成全局模型是指,在第t轮训练中,全局模型通过进行更新,其中wt+1表示t+1轮的全局模型,为第k个客户端在第t轮训练后的局部模型,pk为第k个客户端的贡献分数,p为所有参与训练客户端的贡献分数之和,K为参与训练客户端的总数量。
5.根据权利要求1所述的一种基于动态调整模型聚合权重的联邦学习方法,其特征在于:步骤(1)中,所述数据质量指标Wasserstein距离值在每台客户端上仅计算一次,在各客户端第一次参与模型训练时进行计算。
6.根据权利要求3所述的一种基于动态调整模型聚合权重的联邦学习方法,其特征在于:归一化处理是指,用公式将每台客户端的数据质量指标、模型精度指标和模型差异指标处理为[0,1]之间的数字,式中,x*表示归一化结果值,x表示指标值,Min、Max分别表示该指标值设定值域的最小值和最大值。
7.根据权利要求3所述的一种基于动态调整模型聚合权重的联邦学习方法,其特征在于:客户端的数据质量指标、模型精度指标和模型差异指标对全局模型精度的贡献按照从大到小顺序为:模型精度指标数据质量指标模型差异指标。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学,未经杭州电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110367421.8/1.html,转载请声明来源钻瓜专利网。





