[发明专利]一种基于Hadoop架构的移动终端云资源调度方法

说明书

技术领域

本发明涉及云计算平台中的数据资源，特别是涉及一种基于Hadoop架构的移动终端云资源调度方法。

背景技术

移动互联网和云计算优势互补，云计算正从互联网逐渐过渡到移动互联网。移动终端设备由于受限于体积和便携性的要求，短时间内数据处理能力难以和计算机相比，因此云计算的特点更能在移动互联网上充分体现，弱化了对移动终端设备的处理需求。

移动云计算具有计算量小、请求并发性高、用户实时性要求高的特点，在任务的执行过程中，计算节点与数据间的距离是影响响应时间的重要因素，数据在网络中的传输将严重影响系统的实时性、降低用户体验。如果数据副本刚好存放在计算节点上，那么将大大降低请求的响应时间，由此可见，在移动云计算中，对数据本地化的需求要远大于传统意义上的云计算。

Hadoop是一个实现了谷歌云计算系统的分布式开源框架，包含丰富的分布式与并行计算的相关构件。随着云计算的应用和推广，越来越多诸如微软、亚马逊等互联网行业巨头都参与到云计算的研究和开发中，并使用Hadoop实现了自己的云计算平台。

HDFS（Hadoop Distributed File System）是一个以流式数据访问模式存储超大文件的分布式文件系统，实现了文件的分布式存储。它采用流式方式访问数据集，能够实现高吞吐量的数据访问，适用于大规模数据集，高容错性、高伸缩性的特点使得用户可以使用廉价的硬件设备搭建稳定可靠的分布式平台。HDFS由服务器集群组成，并采用主/从体系架构，集群中包括一个主节点NameNode和若干个从节点DataNode，其中主节点NameNode负责管理文件系统的命名空间和客户端对文件的访问，从节点DataNode负责具体的存储、计算以及对自身附带存储资源的管理，并定期通过“心跳”信息向主节点NameNode发送自身状态，HDFS的结构示意图如图1所示。

在HDFS内部以“块”为单位进行存储，默认块大小为64MB。通常一个文件被分割为一个或多个数据块，由NameNode将其分散存储在不同的DataNode上，并在NameNode的控制下通过DataNode之间的互相复制而具有多个备份，以保证文件系统的高可靠性。DataNode在启动系统时会自动创建自身所存储的各个文件数据块的位置信息，并交由NameNode保存直到系统关闭。

MapReduce是一种云计算的核心计算模式、分布式运算技术，也是简化的分布式编程模式。Hadoop平台下的作业请求都作为MapReduce过程进行，称为一个MapReduce作业，每个作业可分为若干个Map任务和Reduce任务。请求调度方法，就是MapReduce编程模型中的作业调度方法，是MapReduce主节点对Map和Reduce任务的调度。调度方法是一个集群的核心，是影响系统性能、整个集群利用率和吞吐率的关键因素。

MapReduce采用了主/从式结构实现，MapReduce由一个主节点JobTracker和若干个从节点TaskTracker组成。主节点JobTracker负责管理和调度所有作业请求和从节点TaskTracker，它是整个系统分配任务的核心。从节点TaskTracker负责执行作业的具体任务操作，并定期通过“心跳”信息向主节点JobTracker报告任务的执行状态。主节点JobTracker可以运行在集群中的任何一台计算机上，而从节点TaskTracker只能运行在从节点DataNode上，即计算节点一定是数据存储节点，这种配置使得任务有可能在已经存放所需数据的节点上执行，从而有效减少了整个集群带宽的占用率。

以Hadoop分布式文件系统（HDFS，Hadoop Distributed File System）和MapReduce（谷歌MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。MapReduce和HDFS的主节点均设在同一个管理节点上，其余从节点设在工作节点上。管理节点通过控制指令管理工作节点，工作节点通过心跳信息返回状态信息。主节点JobTracker启动调度器，读取各工作节点任务队列，根据调度方法为从节点TaskTracker分配任务。