[发明专利]一种分布式机器学习的计算机系统有效
| 申请号： | 201780088195.1 | 申请日： | 2017-03-09 |
| 公开（公告）号： | CN110419050B | 公开（公告）日： | 2022-05-17 |
| 发明（设计）人： | 扎克·梅拉梅德;吴祖光;罗马·塔扬斯基;内坦·彼得弗洛恩德;韦纳·乌里 | 申请（专利权）人： | 华为技术有限公司 |
| 主分类号： | G06N20/00 | 分类号： | G06N20/00 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 518129 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种用于机器学习模型的分布式训练的计算机系统。所述计算机系统包括BSP系统，包含中央BSP控制模块和至少一个本地BSP模块。所述计算机系统还包括至少一个机器学习模块，与正好一个本地BSP模块相关联，以及共享内存模块，与正好一对本地BSP模块和机器学习模块相关联。中央BSP控制模块用于指示所述至少一个本地BSP模块将本地模型存储在其相关联的共享内存模块。所述至少一个机器学习模块用于从其相关联的共享内存模块读取所述本地模型，基于所述本地模型计算梯度，并且在梯度计算之后立即将所述梯度聚合成其相关联的共享内存模块中的聚合梯度。所述中央BSP控制模块还用于指示所述至少一个本地BSP模块周期性地读出其相关联的共享内存模块。 | ||
| 搜索关键词： | 一种 分布式 机器 学习 计算机系统 | ||
【主权项】：
1.一种用于机器学习模型的分布式训练的计算机系统(100)，其特征在于，所述计算机系统(100)包括：整体同步并行BSP系统(101)，包含中央BSP控制模块(102)和至少一个本地BSP模块(103)；至少一个机器学习模块(105)，与一个特定的本地BSP模块(103)相关联；共享内存模块(104)，与本地BSP模块(103)和机器学习模块(105)这一对模块相关联；其中，所述中央BSP控制模块(102)用于指示所述至少一个本地BSP模块(103)将本地模型存储在其相关联的共享内存模块(104)；其中，所述至少一个机器学习模块(105)用于从其相关联的共享内存模块(104)读取所述本地模型；基于所述本地模型计算梯度；在梯度计算之后立即将所述梯度聚合成其相关联的共享内存模块(104)中的聚合梯度；其中，所述中央BSP控制模块(102)还用于指示所述至少一个本地BSP模块(103)周期性地读出其相关联的共享内存模块(104)。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华为技术有限公司，未经华为技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201780088195.1/，转载请声明来源钻瓜专利网。
- 上一篇：房间布局估计方法和技术
- 下一篇：顺序管理系统及程序
