[发明专利]一种基于MapReduce的监控数据优先预取处理方法

权利要求书

1.一种基于MapReduce的监控数据优先预取处理方法，其特征在于，该处理方法包括以下步骤：

1)构建Hadoop分布式系统，包括主节点和从节点，主节点和从节点上均安装JDK和Hadoop软件，并添加有JAVA环境变量；

2)将数据集进行节点预选找到空闲节点作为候选工作计算节点；

3)在确定候选计算节点集之后，在预先选出待预取的map任务；

4)根据筛选出的候选节点和待预取map任务对数据进行预取。

2.根据权利要求1所述的基于MapReduce的监控数据优先预取处理方法，其特征在于，所述步骤1)中主节点和从节点计算机安装Hadoop软件时，需对conf目录下的6个核心配置文件进行相应配置,这6个配置文件分别是hadoop-env.sh、core-site.xml、mapred-site.xml、hdfs-site.xml、masters和slaves文件。

3.根据权利要求2所述的基于MapReduce的监控数据优先预取处理方法，其特征在于，所述hadoop-env.sh文件用于配置所使用的JDK版本及所处位置；core-site.xml文件用于配置HDFS文件系统的名称、访问入口地址及端口信息；mapred-site.xml文件用于配置JobTracker的入口地址及端口；hdfs-site.xml文件用于配置HDFS副本数；而masters和slaves文件分别用于指定主节点和从节点所对应的机器。

4.根据权利要求3所述的基于MapReduce的监控数据优先预取处理方法，其特征在于，所述主节点主要负责Hadoop两个关键功能模块HDFS、MapReduce的监督，当JobTracker使用MapReduce进行监控和调度数据的并行处理时，NameNode则负责HDFS监视和调度，从节点负责机器运行的绝大部分，担当所有数据储存和指令计算，每个从节点既扮演者数据节点的角色又承担与它们主节点通信的守护进程。

5.根据权利要求4所述的基于MapReduce的监控数据优先预取处理方法，其特征在于，所述步骤2)如果在选中的候选节点上进行资源预取操作,需要保证在当前正在运行的任务结束之前就完成预取。

6.根据权利要求5所述的基于MapReduce的监控数据优先预取处理方法，其特征在于，所述步骤2)中节点预选的具体过程如下：

(a)利用计算节点上当前正在运行任务的执行进度来推测其最大剩余执行时间estimatedLeftTime；

(b)根据网络设备的理论传输速率计算出节点间传输一个文件块所需要的时间timePerBlock；

(c)依据正在该节点上运行的任务中存在剩余完成时间小于传输一个数据块所需时间的map任务，判断该节点马上就会释放忙碌计算槽(slots)，意味着在预取完成之前此计算节点就会变为空闲节点，无需再执行后续的预取操作；

(d)对节点上每个map任务的剩余完成时间estimatedLeftTime与节点间传输一个文件块所需时间进行比较,若计算节点存在estimatedLeftTime<timePerBlock的map任务,则退出本次预取操作；反之，则选取estimatedLeftTime<timePerBlock的计算节点加入candidateTTs集合中,作为候选节点的备选集。