[发明专利]一种模型训练系统、模型训练中梯度聚合的方法及装置有效
| 申请号： | 201910880461.5 | 申请日： | 2019-09-17 |
| 公开（公告）号： | CN112528108B | 公开（公告）日： | 2023-02-07 |
| 发明（设计）人： | 孙贝磊;鲍翀;王开盛;杨康 | 申请（专利权）人： | 华为技术有限公司 |
| 主分类号： | G06F16/906 | 分类号： | G06F16/906;G06N3/08 |
| 代理公司： | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人： | 吴磊 |
| 地址： | 518129 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种模型训练系统以及模型训练中梯度聚合的方法，应用于人工智能artificial intelligence,AI)技术领域。该模型训练系统中的至少两个训练节点形成环状传输路径。在梯度聚合中，环上的各训练节点在梯度聚合前只需要确定自身的第一算子的第一梯度输出，就可以执行梯度聚合。不需要向中心节点发送该第一梯度，由该中心节点统一执行聚合。也不需要在聚合前向环状传输路径上作为中心节点的一个训练节点报告第一梯度已就绪，在接收到该中心节点返回的聚合指令后才能开始执行梯度聚合。可以有效的减少各训练节点与中心节点之间交互产生的通信开销。 | ||
| 搜索关键词： | 一种 模型 训练 系统 梯度 聚合 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华为技术有限公司，未经华为技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910880461.5/，转载请声明来源钻瓜专利网。
- 上一篇：一种网关登录方法及装置
- 下一篇：显示面板及其制造方法和电子设备
