[发明专利]一种基于MapReduce的监控数据优先预取处理方法

说明书

技术领域

本发明涉及一种基于MapReduce的监控数据优先预取处理方法，属于软件工程技术领域。

背景技术

随着分布式电源，微电网的发展，在电网监控系统中需要接入的设备数量以及需要监测的量测数据将爆发式的增长，伴随智能化需求的增多，电网监控系统需要采集存储的数据量也将急剧增多，数据流的快速存储和处理分析能力在传统的客户/服务器加数据库技术方式下面临着存储容量不足，数据处理效率低下等问题。

发明内容

本发明的目的是提供一种基于MapReduce的监控数据优先预取处理方法，

以解决现有MapReduce方法效率低、在电网监控系统中由于监控数据急剧增加导致监控数据流处理能力不足的问题。

本发明为解决上述技术问题而提供一种基于MapReduce的监控数据优先预取处理方法，该处理方法包括以下步骤：

1)构建Hadoop分布式系统，包括主节点和从节点，主节点和从节点上均安装JDK和Hadoop软件，并添加有JAVA环境变量；

2)将数据集进行节点预选找到空闲节点作为候选工作计算节点；

3)在确定候选计算节点集之后，在预先选出待预取的map任务；

4)根据筛选出的候选节点和待预取map任务对数据进行预取。

所述步骤1)中主节点和从节点计算机安装Hadoop软件时，需对conf目录下的6个核心配置文件进行相应配置,这6个配置文件分别是hadoop-env.sh、core-site.xml、mapred-site.xml、hdfs-site.xml、masters和slaves文件。

所述hadoop-env.sh文件用于配置所使用的JDK版本及所处位置；core-site.xml文件用于配置HDFS文件系统的名称、访问入口地址及端口信息；mapred-site.xml文件用于配置JobTracker的入口地址及端口；hdfs-site.xml文件用于配置HDFS副本数；而masters和slaves文件分别用于指定主节点和从节点所对应的机器。

所述主节点主要负责Hadoop两个关键功能模块HDFS、MapReduce的监督，当JobTracker使用MapReduce进行监控和调度数据的并行处理时，NameNode则负责HDFS监视和调度，从节点负责机器运行的绝大部分，担当所有数据储存和指令计算，每个从节点既扮演者数据节点的角色又承担与它们主节点通信的守护进程。

所述步骤2)如果在选中的候选节点上进行资源预取操作,需要保证在当前正在运行的任务结束之前就完成预取。

所述步骤2)中节点预选的具体过程如下：

(a)利用计算节点上当前正在运行任务的执行进度来推测其最大剩余执行时间estimatedLeftTime；

(b)根据网络设备的理论传输速率计算出节点间传输一个文件块所需要的时间timePerBlock；

(c)依据正在该节点上运行的任务中存在剩余完成时间小于传输一个数据块所需时间的map任务，判断该节点马上就会释放忙碌计算槽(slots)，意味着在预取完成之前此计算节点就会变为空闲节点，无需再执行后续的预取操作；

(d)对节点上每个map任务的剩余完成时间estimatedLeftTime与节点间传输一个文件块所需时间进行比较,若计算节点存在estimatedLeftTime<timePerBlock的map任务,则退出本次预取操作；反之，则选取estimatedLeftTime<timePerBlock的计算节点加入candidateTTs集合中,作为候选节点的备选集。

所述步骤3)中任务预选的过程如下：

a.读取最新的candidateTTs列表，并从中选取排列在第一位的TaskTracker，即接下来最有可能释放忙碌计算槽(slots)且可在其释放前有充足时间完成预取操作的计算节点，作为待进行预取操作的候选节点，记为targetTT；

b.如果集合不为空，则对其中失败次数最多的任务严格按其相对于步骤a中选出的数据本地性进行筛选，如果为node-local任务，则中断整个算法的执行，反之，则选择该失败次数最多的任务作为候选map任务，记为toPrefetchMap；