[发明专利]数据的分布式运行方法及装置、存储介质及处理器在审
申请号: | 201810011006.7 | 申请日: | 2018-01-05 |
公开(公告)号: | CN110018817A | 公开(公告)日: | 2019-07-16 |
发明(设计)人: | 陈秀玲;周祥生;屠要峰;黄震江;高洪 | 申请(专利权)人: | 中兴通讯股份有限公司 |
主分类号: | G06F8/30 | 分类号: | G06F8/30;G06N20/00 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 江舟;董文倩 |
地址: | 518057 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供了一种数据的分布式运行方法及装置、存储介质及处理器,其中,该方法包括:将用户提交的单机脚本生成有向无环图DAG,其中,DAG包括多个操作实例OP;根据生成的DAG,以及用户提交的图形处理器GPU资源请求和系统GPU资源对OP进行拆分得到多个子OP;根据每个子OP的计算损耗将多个子OP放置在不同的计算节点上以将多个子OP分为多个层,并在多个层的计算节点上并行运行子OP;其中,当前层的子OP的计算损耗比其他子OP在当前层的计算损耗小。通过本发明,解决了相关技术中用户在大规模云环境中编写分布式代码时,因设备动态分配而无法在代码中指定特定设备的问题,提高了系统算法效率。 | ||
搜索关键词: | 分布式运行 存储介质 计算节点 用户提交 处理器 图形处理器 有向无环图 脚本生成 设备动态 系统算法 资源请求 云环境 单机 分配 | ||
【主权项】:
1.一种数据的分布式运行方法,其特征在于,包括:将用户提交的单机脚本生成有向无环图DAG,其中,所述DAG包括多个操作实例OP;根据生成的DAG,以及用户提交的图形处理器GPU资源请求和系统GPU资源对所述OP进行拆分得到多个子OP;根据每个子OP的计算损耗将所述多个子OP放置在不同的计算节点上以将所述多个子OP分为多个层,并在所述多个层的计算节点上并行运行子OP;其中,当前层的子OP的计算损耗比其他子OP在所述当前层的计算损耗小。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中兴通讯股份有限公司,未经中兴通讯股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810011006.7/,转载请声明来源钻瓜专利网。