[发明专利]联邦学习方法、装置、电子设备及存储介质有效
申请号: | 202111104028.6 | 申请日: | 2021-09-18 |
公开(公告)号: | CN113850394B | 公开(公告)日: | 2023-02-28 |
发明(设计)人: | 刘吉;马北辰;周晨娣;贾俊铖;窦德景;季石磊;廖源 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06N20/00 | 分类号: | G06N20/00 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 吕朝蕙 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 联邦 学习方法 装置 电子设备 存储 介质 | ||
1.一种联邦学习方法,包括:
针对当前学习周期,基于多个备选设备的资源信息,确定所述多个备选设备中针对待执行的至少一个学习任务中每个任务的目标设备;
向针对所述每个任务的目标设备发送针对所述每个任务的全局模型,以使针对所述每个任务的目标设备对针对所述每个任务的全局模型进行训练;以及
响应于接收到针对所述每个任务的所有目标设备所发送的训练后模型,基于所述训练后模型更新针对所述每个任务的全局模型,完成所述当前学习周期,
其中,确定所述多个备选设备中针对待执行的至少一个学习任务中每个任务的目标设备包括:
基于所述多个备选设备的资源信息,确定使当前学习周期的时间成本最小的目标设备集,作为候选调度信息;所述目标设备集包括分别针对至少一个学习任务的至少一个目标设备组;
以所述候选调度信息和多个预定调度信息作为初始调度信息集,循环地执行以下操作,直至满足预定循环停止条件:
调整当前调度信息集中的目标调度信息,得到n个调整后调度信息,其中n为正整数;以及
从所述n个调整后调度信息和所述当前调度信息集中剔除使所述当前学习周期的时间成本较高的n个调度信息,得到更新后调度信息集,
其中,调整当前调度信息集中的目标调度信息包括:
基于所述当前调度信息集中各调度信息针对所述当前学习周期的时间成本,确定所述各调度信息的适应值;
根据所述适应值,采用轮盘选择算子选择所述当前调度信息集中的所述目标调度信息;以及
采用交叉操作调整所述目标调度信息中的任意两个调度信息,得到调整后调度信息。
2.根据权利要求1所述的方法,其中,确定使当前学习周期的时间成本最小的目标设备集包括:
基于所述多个备选设备的资源信息,确定所述多个备选设备中的每个备选设备执行所述每个任务的时长信息;以及
基于所述时长信息,确定使当前学习周期的时间成本最小的目标设备集。
3.根据权利要求2所述的方法,确定使当前学习周期的时间成本最小的目标设备集包括:
基于所述每个备选设备在所述当前学习周期之前的学习周期中执行所述每个任务的次数,确定所述多个备选设备针对所述每个任务的调度平衡方差;以及
基于所述调度平衡方差和所述时长信息,确定使当前学习周期的时间成本最小的目标设备集。
4.根据权利要求2所述的方法,其中,确定所述多个备选设备中的每个备选设备执行所述每个任务的时长信息包括:
基于所述每个备选设备的资源信息,确定所述每个备选设备的计算指标,所述计算指标指示所述每个备选设备的计算能力;以及
基于所述计算指标和所述每个备选设备中存储的针对所述每个任务的训练数据的数据量,采用预定位移指数分布确定所述每个备选设备执行所述每个任务的时长信息。
5.根据权利要求1所述的方法,其中,采用交叉操作调整所述目标调度信息中的任意两个调度信息包括:
确定所述任意两个调度信息中备选设备的差集,得到多个目标设备;以及
基于所述多个目标设备,采用所述交叉操作调整所述目标调度信息中的任意两个调度信息。
6.根据权利要求1所述的方法,还包括:
根据执行所述每个任务的目标设备的资源信息,确定针对所述每个任务的目标设备训练针对所述每个任务的全局模型的目标次数;以及
向针对所述每个任务的目标设备发送所述目标次数,以使针对所述每个任务的目标设备基于所述目标次数对针对所述每个任务的全局模型进行训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111104028.6/1.html,转载请声明来源钻瓜专利网。