[发明专利]一种Hadoop系统优化方法

说明书

本发明涉及大数据与云计算领域，尤其涉及一种Hadoop系统优化方法。其中，对HDFS数据分布存储阶段的优化包括：选择DataNode；对选出的DataNode排序；采用同向增量的轮循方法放置数据。对MapReduce数据并行计算阶段的优化包括：生成执行队列Q；执行R⁰备份；更新执行队列Q；执行R¹备份；更新执行队列Q；执行R²备份；更新执行队列Q；针对性执行。本发明采用自适应的轮循放置策略，可以将数据基本均匀地放置在DataNode，防止出现节点负载不平衡等问题。同时将所有的map任务都在本机执行，很大程度上减少了数据的网络传输，减少了map任务对网络传输的依赖，极大地避免了网络延迟带给应用的瓶颈。

技术领域

本发明涉及大数据与云计算领域，尤其涉及一种Hadoop系统优化方法。

背景技术

Hadoop以其可靠、高效、可伸缩的数据处理方式，成为目前比较受用户青睐的分布式系统架构。Hadoop框架最核心的设计是HDFS(Hadoop分布式文件系统)和MapReduce，HDFS为海量的数据提供了存储，而MapReduce为海量的数据提供了计算。现有的Hadoop框架中HDFS默认采用随机的数据放置，这种方式下数据放置不均匀，而且由于没有兼顾节点负载(计算负载和存储负载)导致负载不平衡。另一方面，在MapReduce并行计算时，某些节点处理任务所需的数据不在本地，需要从其他节点网络传输过来，尤其当数据量非常大时，对网络传输的需求会巨大，无疑地，网络传输成为发展的瓶颈。这些问题严重影响了Hadoop框架的执行效率。

发明内容

为解决上述问题，本发明针对Hadoop框架中的HDFS数据分布存储和MapReduce数据并行计算两个过程进行了优化。

对于HDFS数据分布存储，提出了“自适应的数据轮循放置策略”，一方面轮循的数据放置可以解决在HDFS中数据放置不均匀的问题；另一方面自适应的数据放置即根据节点自身的能力(计算能力和存储能力)选择将较多的数据放置在能力较大的节点上，可以解决在HDFS中数据放置时出现节点负载不平衡甚至出现某些节点负载过重等问题。

对于MapReduce数据并行计算，提出了“基于数据的本机执行”的并行计算策略，尽可能将所有map任务在本机处理即几乎所有数据的读取都在本机磁盘执行，这样既可以减少对网络传输的依赖，又可以大幅度地提高应用效率。

本发明采用的具体方案如下：

一种Hadoop系统优化方法，包括对HDFS数据分布存储阶段的优化和对MapReduce数据并行计算阶段的优化；其中，对HDFS数据分布存储阶段的优化包括以下步骤：

步骤1.1、选择DataNode：根据Hadoop集群内每个DataNode的磁盘使用率选择具有存储能力的DataNode用于存储数据；

步骤1.2、对选出的DataNode排序：将已选择的DataNode根据其计算能力的大小降序排序；

步骤1.3、放置数据：按照步骤1.2产生的顺序采用同向增量的轮循方法，将所有Block的备份存储到选出的DataNode；

对MapReduce数据并行计算阶段的优化包括以下步骤：