[发明专利]一种基于资源重用的MapReduce短作业优化系统及方法有效
申请号: | 201610124760.2 | 申请日: | 2016-03-04 |
公开(公告)号: | CN105808334A | 公开(公告)日: | 2016-07-27 |
发明(设计)人: | 史玉良;崔立真;李庆忠;郑永清;张开会 | 申请(专利权)人: | 山东大学 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 济南圣达知识产权代理有限公司 37221 | 代理人: | 张勇 |
地址: | 250061 山东*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于资源重用的MapReduce短作业优化系统及方法;系统包括:主节点、一级从节点和若干个二级从节点,其中主节点与一级从节点连接,一级从节点与若干个二级从节点连接;所述主节点上部署资源管理器和一级任务调度器;所述一级从节点上部署应用管理器、任务性能评估器和二级任务调度器,其中二级任务调度器与任务性能评估器连接,二级任务调度器还与主节点连接;每个所述二级从节点上均部署节点管理器。它从提高资源有效利用方面优化短作业运行性能,减少资源分配和回收的频率,将资源分配和回收的时间用来运行短作业,通过减少作业等待资源时间,提高执行短作业的性能。 | ||
搜索关键词: | 一种 基于 资源 重用 mapreduce 作业 优化 系统 方法 | ||
【主权项】:
一种基于资源重用的MapReduce短作业优化系统,其特征是,包括:主节点、一级从节点和若干个二级从节点,其中主节点与一级从节点连接,一级从节点与若干个二级从节点连接;所述主节点上部署资源管理器和一级任务调度器;所述一级从节点上部署应用管理器、任务性能评估器和二级任务调度器,其中二级任务调度器与任务性能评估器连接,二级任务调度器还与主节点连接;每个所述二级从节点上均部署节点管理器;所述任务性能评估器,预测正在运行的任务和未调度的任务的完成时间;所述二级任务调度器,根据任务性能评估器的预测结果判断正在执行的任务是否属于短任务以及从未调度的任务队列中选择任务。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东大学,未经山东大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610124760.2/,转载请声明来源钻瓜专利网。
- 上一篇:一种多模式自适应切换处理器
- 下一篇:一种图标的显示方法、显示装置以及终端