[发明专利]面向分布式机器学习的自适应稀疏参数模型设计与量化传输方法有效
| 申请号： | 202110851560.8 | 申请日： | 2021-07-27 |
| 公开（公告）号： | CN113660113B | 公开（公告）日： | 2023-09-15 |
| 发明（设计）人： | 王国政;雷咏梅 | 申请（专利权）人： | 上海大学 |
| 主分类号： | H04L41/14 | 分类号： | H04L41/14;H04L67/10;G06N20/00 |
| 代理公司： | 上海上大专利事务所(普通合伙) 31205 | 代理人： | 何文欣 |
| 地址： | 200444*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种面向分布式机器学习的自适应稀疏参数模型设计与量化传输方法。首先通过对模型的梯度向量与上一次迭代的梯度向量作差，并降序排序。由于数据的稀疏性会导致模型参数的稀疏性，并且根据模型相应维度参数收敛之后就不再变化这一条件，得出重要的模型参数“键‑值”对。根据自适应稀疏参数模型，选取最优的K值，使目标函数提升与通信成本率更高，进而提升通信效率。在此基础上，依据动态选择稀疏/稠密通信模式进行高效通信，如果选择稀疏通信模式，可以对稀疏参数元素进行量化操作，使高bit参数降为低bit参数，在不影响算法收敛性的前提下，使得通信传输更加高效。 | ||
| 搜索关键词： | 面向 分布式 机器 学习 自适应 稀疏 参数 模型 设计 量化 传输 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海大学，未经上海大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110851560.8/，转载请声明来源钻瓜专利网。
