[发明专利]基于多GPU的分布式深度学习模型训练代价的获取方法有效
| 申请号： | 202210542619.X | 申请日： | 2022-05-18 |
| 公开（公告）号： | CN114862656B | 公开（公告）日： | 2023-05-05 |
| 发明（设计）人： | 曹州;敖玉龙;梁建中;吴志华;于佃海 | 申请（专利权）人： | 北京百度网讯科技有限公司 |
| 主分类号： | G06T1/20 | 分类号： | G06T1/20;G06F18/214 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 罗岚 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供了一种基于多图像处理器GPU的分布式深度学习模型训练代价的获取方法，涉及人工智能领域，尤其涉及深度学习及云计算技术领域。具体实现方案为：获取并行策略；针对每个并行策略，获取多个GPU对应的每个算子的时间代价，并将所有的算子的时间代价之和作为目标时间代价；获取每个算子的内存消耗，并将所有的内存消耗之和作为目标内存消耗；根据目标内存消耗和目标时间代价，获取训练代价，并根据训练代价，选取最优并行策略。由此，本公开综合考虑算子的时间代价和内存消耗，更加准确地获取并行策略的训练代价，进而为选取最优并行策略奠定了坚实的基础。进一步地，无需考虑模型结构，为平台资源分配和并行策略的选择提供显著的指导意义。 | ||
| 搜索关键词： | 基于 gpu 分布式 深度 学习 模型 训练 代价 获取 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司，未经北京百度网讯科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210542619.X/，转载请声明来源钻瓜专利网。
