[发明专利]Hadoop平台下动态标签匹配DLMS调度方法有效

专利信息
申请号: 201710181055.0 申请日: 2017-03-24
公开(公告)号: CN107038069B 公开(公告)日: 2020-05-08
发明(设计)人: 毛韦;竹翠 申请(专利权)人: 北京工业大学
主分类号: G06F9/48 分类号: G06F9/48;G06F9/50;H04L29/08
代理公司: 北京思海天达知识产权代理有限公司 11203 代理人: 沈波
地址: 100124 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明公开了Hadoop平台下动态标签匹配DLMS调度方法,属于计算机软件领域,针对Hadoop集群节点性能差异大、资源分配随机性、执行时间过长的问题,本发明提出一种将节点性能标签(以下简称节点标签)和作业类别标签(以下简称作业标签)进行动态匹配的调度器。节点初始分类并赋予原始节点标签,节点检测自身性能指标生成动态节点标签,作业根据部分运行信息进行分类生成作业标签,资源调度器将节点资源分配给对应标签的作业。实验结果表明,相对于YARN中自带的调度器在作业执行时间上有较大的缩短。
搜索关键词: hadoop 平台 动态 标签 匹配 dlms 调度 方法
【主权项】:
Hadoop平台下动态标签匹配DLMS调度方法,其特征在于:集群节点原始分类及其动态分类标签;集群节点首先需要进行初始分类,根据节点的CPU和磁盘IO性能进行分类;集群中每个节点都需要单独运行一个指定类型的任务并记录下该节点运行该类作业的时间,根据节点运行单个任务的时间与集群中所有节点运行时间平均值的大小关系将节点分成CPU型节点,磁盘IO型节点,普通型节点;在集群节点运行的过程中,如果一个节点运行部分作业导致负载过大,会对这个节点的标签进行降级处理,直接降级为普通节点;一个节点初始标签是CPU型标签,节点中运行CPU型任务,虽然此节点还有部分资源未使用,但是此时环境中节点CPU性能优势已经失去,为避免这种情况出现,采取动态标签方法,在NodeManager向ResourceManager发送心跳的时候动态检测该节点机器的CPU和IO使用率,如果超过阈值,就将此节点标签贴上普通标签,每次发送心跳时都需要进行检测一次,由此实现节点动态标签;此阈值可以在配置文件中自行配置,如果用户未配置会参照系统默认值;(1)Map执行信息的获取与回传Hadoop作业通常分成Map阶段和Reduce阶段,通常大作业map数量在上百个甚至更多,一个作业主要时间是花费在Map阶段的计算上,但是每个Map又是完全相同的执行逻辑,所以会收集作业运行的第一个map进程的运行信息,这些信息在NodeManager向ResourceManager发送心跳时传递到调度器中,调度器根据传回的信息进行作业的分类;企业生产环境中,每天都会运行一些相同内容逻辑的作业,即用户已知作业应所属的标签,在命令行或者代码中为作业设置作业类型标签,在调度的时候调度器会进行检查,如果用户已经对作业贴上标签,就省去作业分类的环节,直接进行调度;(2)多优先级队列为满足不同用户的需求,防止小作业出现“饥饿”现象,采用作业优先级方案;在调度器中新建5个队列即:原始队列、等待优先级队列、CPU优先级队列、IO优先级队列和普通优先级队列;用户提交作业首先是进入原始队列中,先运行作业部分map并收集这部分map运行信息,然后作业进入等待优先级队列中等待Map的运行信息回传并进行分类,最后根据作业的分类类别标签进入到对应标签的队列中;(3)作业分类在分类之前需要对数据进行预处理,数据预处理是指在前期对数据进行一些处理;为提高数据挖掘的质量产生了数据预处理技术;数据预处理技术有多种方法:数据清理、数据集成、数据变换和数据规约;这些数据处理技术在数据挖掘之前使用,大大提高数据挖掘模式的质量,降低实际挖掘所需时间;本文数据预处理主要是在数据归一化方面;数据归一化就是把各个变量数据都线性地变换到一个新标尺上,变换后变量最小值为0,最大值为1,这样就保证所有的变量数据都小于等于1;在作业分类方面选择了简单、使用比较普遍而且分类效果较好的朴素贝叶斯分类器进行分类;如果用户在命令行和任务代码中已经添加作业的类型的话,这个步骤会省掉,直接进入相应的队列中等待分配资源;(4)数据本地性Hadoop中遵循一个原则是“移动计算比移动数据更好”,移动到放置数据的计算节点要比把数据移动到一个计算节点更加节省成本,性能更好;关于数据本地性本发明采取了延时降级调度策略。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大学,未经北京工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201710181055.0/,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top