[发明专利]一种计算资源的分配方法及装置在审
申请号: | 202010123424.2 | 申请日: | 2020-02-27 |
公开(公告)号: | CN113312169A | 公开(公告)日: | 2021-08-27 |
发明(设计)人: | 郭嵩;詹玉峰 | 申请(专利权)人: | 香港理工大学深圳研究院 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N20/00 |
代理公司: | 深圳中一专利商标事务所 44237 | 代理人: | 曹小翠 |
地址: | 518057 广东省深圳市南山区高新*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 计算 资源 分配 方法 装置 | ||
本申请适用于计算机技术领域,提供了一种计算资源的分配方法,包括:在对全局网络模型的每一轮训练过程中,获取多个用户设备的带宽信息,然后根据多个用户设备的带宽信息,生成每个用户设备的第一计算频率,最后向每个用户设备发送对应的第一计算频率和全局网络模型的局部模型参数,以使用户设备根据第一计算频率对局部模型参数进行更新。通过根据多个用户设备的带宽信息生成每个用户设备的第一计算频率,进而每个用户设备可以按照对应的第一计算频率对局部模型参数进行更新,可以使得原先训练任务完成过快的用户设备降低计算速度,从而解决现有联邦学习过程中计算资源浪费的问题。
技术领域
本申请属于计算机技术领域,尤其涉及一种计算资源的分配方法及装置。
背景技术
联邦学习是一种分布式的智能学习框架,即将训练任务分发给各个用户设备,以由各个用户设备利用本地的用户隐私数据进行训练,并将训练结果返回至服务器,以使得服务器可以在不直接获取用户隐私数据的情况下构建学习模型,有效的保护了用户隐私。
然而,在训练过程中每个用户设备会随机选择计算频率进行训练,导致有的用户设备先完成训练任务,有的用户设备后完成训练任务。但是服务器要集合本轮所有的训练结果才可以进行下一轮的训练。对于相同的计算量,由于用户设备完成处理的时间越短就会消耗越多的功耗,因此,在训练过程中,训练任务完成快的用户设备会产生不必要的功耗,造成了计算资源浪费的问题。
发明内容
有鉴于此,本申请实施例提供了一种计算资源的分配方法及装置,可以解决现有技术中,训练任务完成快的用户设备会产生不必要的功耗,造成了计算资源浪费的问题。
第一方面,本申请实施例提供了一种计算资源的分配方法,应用于服务器,方法包括:
在对全局网络模型的每一轮训练过程中,获取多个用户设备的带宽信息;
根据多个用户设备的带宽信息,生成每个用户设备的第一计算频率;
向每个用户设备发送对应的第一计算频率和全局网络模型的局部模型参数,以使用户设备根据第一计算频率对局部模型参数进行更新。
可选的,根据多个用户设备的带宽信息,生成每个用户设备的第一计算频率,包括:
将多个用户设备的带宽信息输入到已训练的强化模型中处理,输出每个用户设备的第一计算频率,其中,强化模型基于训练样本集中的多个带宽样本训练得到,带宽样本包括多个用户设备的历史带宽信息。
可选的,将多个用户设备的带宽信息输入到已训练的强化模型中处理之前,方法还包括:
将训练样本集合中的带宽样本输入到初始强化模型中处理,输出每个用户设备的第二计算频率;
利用每个用户设备的第二计算频率对全局网络模型进行训练,得到本轮训练的经验数据,经验数据包括完成本轮训练的总时间,每个用户设备在本轮训练中的功耗、对应的带宽样本,以及每个用户设备下一轮训练中对应的带宽样本;
当累计获得N轮训练的经验数据时,对N轮训练的经验数据进行处理,得到损失值;
当损失值不满足预设条件时,调整初始强化模型的模型参数,并返回执行将训练样本集合中的所述带宽样本输入初始强化模型中处理,输出每个用户设备的第二计算频率的步骤;
当损失值满足预设条件时,停止训练初始强化模型,并将训练后的初始强化模型作为强化模型。
可选的,训练样本集中还包括每个用户设备的最高计算频率,将训练样本集合中的所述带宽样本输入到初始强化模型中处理,输出每个用户设备的第二计算频率,包括:
将训练样本集合中的所述带宽样本输入到初始强化模型中处理,得到每个用户设备的第三计算频率;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于香港理工大学深圳研究院,未经香港理工大学深圳研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010123424.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:具有简易顶出机构的注塑模
- 下一篇:提升抗LATCH UP能力的方法及系统