[发明专利]一种基于异构Hadoop集群的任务调度方法

说明书

本发明公开一种基于异构Hadoop集群的任务调度方法，该方法根据集群中每个节点的实时性能，并考虑到每个节点和不同任务的匹配程度，来对Hadoop中任务队列中的任务进行调度。解决了现有调度技术只能针对大数据中心同构集群，以及现有的调度算法集群的资源利用率低，集群节点负载不均衡以及作业完成时间比较长的缺陷。

技术领域

本发明属于大数据相关领域，涉及一种基于异构Hadoop集群的任务调度方法。

背景技术

随着互联网应用的快速发展，互联网迎来了web2.0时期，人类已经正式进入了信息爆炸的时代，互联网中的信息量以指数的速度增长着。很多领域都在产生大量的数据。例如，在物联网领域，我们使用的各种传感器、可穿戴设备等无时无刻都在产生数据。在电子商务领域，当我们浏览商品、加入购物车和下订单时也会产生大量数据。在社交领域，我们通讯也会产生大量的视频、音频数据和文本数据。此外，社交网络应用中记录用户行为日志通常都是以GB甚至是TB为单位的。相对于传统的关系型数据的存储和计算，这些每天产生的数据大多都是非关系性的、而且没有固定格式的数据。当数据量达到一定的规模时，常规的单机计算模式已经无法满足用户的需求。为了解决这种情况，提出了分布式计算框架与云计算。框架本身通常允许管理处理数据的可执行程序，通常称为应用程序或作业。在过去的几年里，一些分布式计算框架已经被开发出来，其中有几个受到了广泛的应用。与其他分布式计算框架相比，MapReduce更受欢迎。MapReduce被应用在Hadoop平台，Hadoop是一个开源的分布式存储和处理系统，是由Apache基于Google发表的两篇论文提出了一种大数据处理平台。目前一些知名的公司都有自己的Hadoop集群，例如Yahoo,Google,Ebay和Amazon。Hadoop的应用范围非常广泛，主要适用于结构化、半结构化和非结构化数据的搜索、数据分析和数据挖掘。例如分布式排序，日志分析，构建反向索引和机器学习等。

Hadoop的发展经历两个阶段：Hadoop 1.0和Hadoop 2.0。在Hadoop 1.0中，MapReduce(也被称为MRv1)分布式处理框架是Hadoop中的唯一计算框架，它不仅能够用于离线处理大规模非结构化数据，而且能将很多繁琐的细节隐藏，比如，自动并行化、负载均衡和灾备管理等，极大地简化了开发工作，同时，与传统的大多数分布式处理框架相比，MapReduce的伸缩性优势明显，因此，MRv1最初推出的几年，有众多的成功应用案例，并获得业界的广泛支持和肯定。但随着分布式系统集群的规模和其工作负荷的增长，特别是支持其他实时计算框架的需求越来越多，包括内存计算框架(Spark)、流式计算框架(Storm)、迭代式计算框架(iMapReduce)等新型计算框架的出现，MRv1计算框架的局限性日益突出，主要包括扩展性差、资源利用率低、存在单点故障、计算框架单一等问题。为此，Hadoop 2.0提出一种新的资源管理系统YARN(Yet Another Resource Negotiator，也被称为MRv2)，一个多种计算框架通用的资源调度体系，为不同的并行化计算提供资源分配服务。这样，YARN支持的计算框架只要实现YARN定义的接口，便可以运行在YARN之上，从而很好地打造一个以YARN为核心的生态系统。由于YARN具有灵活且支持多计算框架的架构设计、主结点功能的分离、资源调度机制的改进、资源的隔离和Hadoop原生支持等诸多特性，它目前已经成了新一代资源管理的典型代表。