[发明专利]基于Spark的分布式计算中多场景任务调度方法及装置在审
| 申请号： | 201810496636.8 | 申请日： | 2018-05-22 |
| 公开（公告）号： | CN108762902A | 公开（公告）日： | 2018-11-06 |
| 发明（设计）人： | 耿玉水;闫贤钊;孙涛;鲁芹;姜雪松;李爱民 | 申请（专利权）人： | 齐鲁工业大学 |
| 主分类号： | G06F9/48 | 分类号： | G06F9/48 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 杨哲 |
| 地址： | 250353 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Spark的分布式计算中多场景任务调度方法及装置，该方法包括：接收分布式计算的执行指令，判断执行指令中的操作类型；在执行聚合操作时，提高reduce并行度，或当key对应数据量超过第一阈值，将该key转换为不同的key，使得同一任务上处理的数据分散至不同任务中；在执行连接操作时，当RDD数据量小于第二阈值，将该RDD进行广播并执行map操作替换连接操作，或当RDD数据量大于第三阈值，采样导致数据倾斜的key，与未数据倾斜的key的RDD分别进行连接操作后进行合并，当导致数据倾斜的key大于第四阈值，对RDD分别进行改变key值和扩容处理后进行连接操作。 | ||
| 搜索关键词： | 连接操作 分布式计算 数据量 任务调度 指令 场景 操作类型 数据分散 并行度 采样 扩容 聚合 替换 合并 转换 广播 | ||
【主权项】：
1.一种基于Spark的分布式计算中多场景任务调度方法，其特征在于，该方法包括：接收分布式计算的执行指令，判断执行指令中的操作类型；在执行聚合操作时，提高reduce并行度，或当key对应数据量超过第一阈值，将该key转换为不同的key，使得同一任务上处理的数据分散至不同任务中；在执行连接操作时，当RDD数据量小于第二阈值，将该RDD进行广播并执行map操作替换连接操作，或当RDD数据量大于第三阈值，采样导致数据倾斜的key，与未数据倾斜的key的RDD分别进行连接操作后进行合并，当导致数据倾斜的key大于第四阈值，对RDD分别进行改变key值和扩容处理后进行连接操作。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于齐鲁工业大学，未经齐鲁工业大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810496636.8/，转载请声明来源钻瓜专利网。
