[发明专利]一种Spark平台Shuffle过程压缩算法决策方法有效
| 申请号： | 201710695285.9 | 申请日： | 2017-08-15 |
| 公开（公告）号： | CN107612886B | 公开（公告）日： | 2020-06-30 |
| 发明（设计）人： | 黄珊珊;徐俊刚;王国路;刘仁峰 | 申请（专利权）人： | 中国科学院大学 |
| 主分类号： | H04L29/06 | 分类号： | H04L29/06;G06F16/27 |
| 代理公司： | 北京君尚知识产权代理有限公司 11200 | 代理人： | 司立彬 |
| 地址： | 100049 北*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种Spark平台Shuffle过程压缩算法决策方法。本方法为：1)Spark平台根据RDD的依赖关系生成有向无环图DAG，并根据RDD的依赖关系将DAG划分成不同的阶段；2)根据用户提供的所在集群的基础数据以及目标作业信息，计算Shuffle过程用到压缩算法的两个不同过程不使用压缩算法时以及使用不同压缩算法时带来的总收益、总消耗；3)根据不同压缩配置下得到的所述总收益、总消耗计算执行该目标作业的整个Shuffle过程中对应的总开销；然后根据总开销确定该集群运行该目标作业采用的配置组合。本发明保证了Spark平台的稳定性，具有可扩展性、成本低、效率高等优点。 | ||
| 搜索关键词： | 一种 spark 平台 shuffle 过程 压缩 算法 决策 方法 | ||
【主权项】：
一种Spark平台Shuffle过程压缩算法决策方法，其步骤包括：1)Spark平台根据RDD的依赖关系生成有向无环图DAG，并根据RDD的依赖关系将DAG划分成不同的阶段；其中，每一阶段包含一组任务，同一组任务中的任务采用相同的执行逻辑分别操作一组RDD的不同分区，每个分区对应一个任务；2)根据用户提供的所在集群的基础数据以及目标作业信息，计算Shuffle过程用到压缩算法的两个不同过程是否使用压缩算法时以及使用不同压缩算法时带来的总收益、总消耗；3)根据不同压缩配置下得到的所述总收益、总消耗计算执行该目标作业的整个Shuffle过程中对应的总开销；然后根据总开销确定该集群运行该目标作业采用的配置组合。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院大学，未经中国科学院大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710695285.9/，转载请声明来源钻瓜专利网。
- 上一篇：室内退步锻炼机
- 下一篇：一种具有限速保护的儿童用健身跑步机
