[发明专利]一种基于联邦学习的模型训练方法、装置及存储介质有效
申请号: | 202110331713.6 | 申请日: | 2021-03-29 |
公开(公告)号: | CN112712182B | 公开(公告)日: | 2021-06-01 |
发明(设计)人: | 李超;蓝利君;王翔;周义朋;吴迪;胡淼 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06K9/62;G06F21/60;G06F21/62 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 联邦 学习 模型 训练 方法 装置 存储 介质 | ||
1.一种基于联邦学习的模型训练方法,其特征在于,包括:
获取K个参与方节点中每个参与方节点的响应时间,其中,所述K为大于1的整数;
根据所述每个参与方节点的响应时间,对所述K个参与方节点进行聚类簇的划分处理,得到N个聚类簇,其中,每个聚类簇包括至少一个参与方节点,所述N为大于或等于2的整数;
从所述N个聚类簇中选择一个聚类簇作为目标聚类簇;
若所述目标聚类簇中所包括的参与方节点数量大于或等于节点数量阈值,则对所述目标聚类簇中的参与方节点进行选择,得到Ω个参与方节点,其中,所述Ω为大于1的整数;
向所述Ω个参与方节点发送梯度更新请求,以使所述Ω个参与方节点中的每个参与方节点根据所述梯度更新请求,分别对每个参与方节点所对应的本地模型进行模型训练,以将每个本地模型的第一本地模型梯度更新为第二本地模型梯度;
当接收到所述Ω个参与方节点中T个参与方节点发送的第二本地模型梯度时,根据T个第二本地模型梯度对联合模型进行模型训练,以将所述联合模型的第一联合模型梯度更新为第二联合模型梯度,其中,所述T表示联邦批尺寸,所述T为大于或等于1,且小于或等于所述Ω的整数。
2.根据权利要求1所述的模型训练方法,其特征在于,所述获取K个参与方节点中每个参与方节点的响应时间,包括:
在第一目标时刻向所述K个参与方节点发送梯度更新请求;
接收所述K个参与方节点中每个参与方节点发送的第一本地模型梯度,并记录每个第一本地模型梯度所对应的接收时刻;
根据所述第一目标时刻以及所述每个第一本地模型梯度所对应的接收时刻,确定所述K个参与方节点中每个参与方节点所对应的响应时间。
3.根据权利要求1所述的模型训练方法,其特征在于,所述根据所述每个参与方节点的响应时间,对所述K个参与方节点进行聚类簇的划分处理,得到N个聚类簇,包括:
获取至少两个待划分的聚类簇中每个聚类簇所对应的预设响应时间范围;
针对于所述每个聚类簇所对应的预设响应时间范围,将响应时间属于所述预设响应时间范围的参与方节点,加入至所述预设响应时间范围所对应的聚类簇中;
当所述K个参与方节点均加入至对应的聚类簇时,得到所述N个聚类簇。
4.根据权利要求1所述的模型训练方法,其特征在于,所述根据所述每个参与方节点的响应时间,对所述K个参与方节点进行聚类簇的划分处理,得到N个聚类簇,包括:
根据所述每个参与方节点的响应时间,确定最大响应时间以及最小响应时间;
根据所述最大响应时间以及所述最小响应时间,确定总体响应时间范围;
对所述总体响应时间范围进行时间范围的划分处理,得到至少两个响应时间范围,其中,每个响应时间范围对应于一个聚类簇;
针对于所述每个聚类簇所对应的响应时间范围,将响应时间属于所述响应时间范围的参与方节点,加入至所述响应时间范围所对应的聚类簇中;
当所述K个参与方节点均加入至对应的聚类簇时,得到所述N个聚类簇。
5.根据权利要求1所述的模型训练方法,其特征在于,所述从所述N个聚类簇中选择一个聚类簇作为目标聚类簇,包括:
对所述N个聚类簇中每个聚类簇所包括的参与方节点进行编号处理,得到每个参与方节点的编号结果,其中,任意两个参与方节点的编号结果均不重复;
生成一个随机数;
若所述随机数与所述N个聚类簇中任意一个参与方节点的编号结果匹配一致,则将所述任意一个参与方节点对应的聚类簇确定为所述目标聚类簇。
6.根据权利要求1所述的模型训练方法,其特征在于,所述从所述N个聚类簇中选择一个聚类簇作为目标聚类簇,包括:
对所述N个聚类簇中每个聚类簇进行编号处理,得到每个聚类簇的编号结果,其中,任意两个聚类簇的编号结果均不重复;
生成一个随机数;
若所述随机数与所述N个聚类簇中任意一个聚类簇的编号结果匹配一致,则将所述任意一个聚类簇确定为所述目标聚类簇。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110331713.6/1.html,转载请声明来源钻瓜专利网。