[发明专利]一种基于采样的分布式机器学习慢节点处理系统及方法有效
| 申请号： | 201710082939.0 | 申请日： | 2017-02-16 |
| 公开（公告）号： | CN108446770B | 公开（公告）日： | 2020-12-04 |
| 发明（设计）人： | 田乔;许春玲;李明齐 | 申请（专利权）人： | 中国科学院上海高等研究院 |
| 主分类号： | G06N20/00 | 分类号： | G06N20/00 |
| 代理公司： | 上海光华专利事务所(普通合伙) 31219 | 代理人： | 王华英 |
| 地址： | 201210 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于采样的分布式机器学习慢节点处理系统及方法，该系统包括多个呈并列分布的机器，每个机器均包括学习器节点和参数服务器节点，每个学习器节点与每个机器内的参数服务器节点分别相连；学习器节点用于获取数据分片，进行模拟训练，向参数服务器节点发起梯度更新请求；参数服务器节点用于判断学习器节点是否为慢节点，根据判断结果决定是否响应学习器节点发起的梯度更新请求并完成全局模型参数更新。本发明通过使用采样训练过程中的快慢节点更新延迟来发现慢节点，并通过丢弃慢节点的梯度更新的手段来解决过期梯度问题，提高收敛的准确性与稳定性，能防止丢弃慢节点过多的问题。 | ||
| 搜索关键词： | 一种 基于 采样 分布式 机器 学习 节点 处理 系统 方法 | ||
【主权项】：
1.一种基于采样的分布式机器学习慢节点处理系统，其特征在于，包括多个呈并列分布的机器，每个机器均包括学习器节点和参数服务器节点，每个所述学习器节点与每个所述机器内的所述参数服务器节点分别相连；所述学习器节点用于获取数据分片，进行模拟训练，向所述参数服务器节点发起梯度更新请求，并且异步获取所述参数服务器节点推送的模型参数；所述参数服务器节点用于判断所述学习器节点是否为慢节点，根据判断结果决定是否响应所述学习器节点发起的梯度更新请求并完成全局模型参数更新，并被动向所述学习器节点推送更新后的模型参数。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院上海高等研究院，未经中国科学院上海高等研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710082939.0/，转载请声明来源钻瓜专利网。
