[发明专利]一种基于动态分区的高能效Spark任务调度方法有效
| 申请号： | 202010578245.8 | 申请日： | 2020-06-23 |
| 公开（公告）号： | CN111813512B | 公开（公告）日： | 2022-11-25 |
| 发明（设计）人： | 李鸿健;魏尧俊;熊渝;谭港凡;王菁精 | 申请（专利权）人： | 重庆邮电大学 |
| 主分类号： | G06F9/48 | 分类号： | G06F9/48;G06F9/50;G06K9/62 |
| 代理公司： | 重庆辉腾律师事务所 50215 | 代理人： | 王海军 |
| 地址： | 400065 重*** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及大数据处理领域，具体涉及一种基于动态分区的高能效Spark任务调度方法，包括：对服务器进行初始化，得到任务信息参照表；用户发起任务调度请求；服务器接收任务调度请求后获取任务数据信息；判断该任务是否限制任务完成时间以及任务是否为首次执行；根据判断结果确定分区数；根据分区数进行服务器的任务调度与运行；任务运行结束后采用能耗评估模型计算任务运行情况的数据使用能耗，并记录入任务信息参照表中，完成任务调度；本发明改善了Spark原生调度策略运行过程中将任务统一对待与分配导致的节点性能不能有效利用的情况，实现了根据任务情况更好的对CPU以及I/O性能不同的节点进行调度，达到了节能的效果。 | ||
| 搜索关键词： | 一种 基于 动态 分区 能效 spark 任务 调度 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆邮电大学，未经重庆邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010578245.8/，转载请声明来源钻瓜专利网。
