[发明专利]具有压缩和延迟补偿的分布式随机梯度下降方法有效
| 申请号： | 202110904974.2 | 申请日： | 2021-08-07 |
| 公开（公告）号： | CN113627519B | 公开（公告）日： | 2022-09-09 |
| 发明（设计）人： | 董德尊;于恩达;汪杨海;廖湘科;肖立权;徐叶茂;欧阳硕;杨维玲;王笑雨 | 申请（专利权）人： | 中国人民解放军国防科技大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/04 |
| 代理公司： | 北京丰浩知识产权代理事务所(普通合伙) 11781 | 代理人： | 董超 |
| 地址： | 410073 湖*** | 国省代码： | 湖南;43 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种具有压缩和延迟补偿的分布式随机梯度下降方法，其利用参数服务器和计算节点来实现，计算节点负责进行梯度以及本地权重的计算，而参数服务器则用于接收并聚合来自所有的计算节点的梯度然后进行梯度更新，参数服务器与计算节点之间的数据交互采用了PS架构的一对多模式，本方法首先进行预热训练，利用全局梯度值对全局权重进行更新，预热训练结束后，进行过渡训练，对全局权重进行备份；过渡训练结束后，进行正式训练，得到下一个时刻的本地梯度和本地权重，再进行补偿训练。本方法采用了独特的本地更新机制来掩盖量化的额外计算开销，适用于所有的有损压缩方法，具有适用范围广的优点。 | ||
| 搜索关键词： | 具有 压缩 延迟 补偿 分布式 随机 梯度 下降 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科技大学，未经中国人民解放军国防科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110904974.2/，转载请声明来源钻瓜专利网。
