[发明专利]一种大数据任务处理方法及系统

说明书

本发明公开了一种大数据任务处理方法及系统，针对大数据中的结构化数据、半结构化数据、非结构化数据的特点以及集群中节点的特点，计算分配给结构化数据、半结构化数据、非结构化数据中每一个的任务数，并根据集群中节点的标签，将结构化数据、半结构化数据、非结构化数据链表的对应部分分配给相应的节点，优化了JobTracker中任务处理过程，提高了大数据分析的处理效率。

技术领域

本发明涉及大数据技术领域，尤其是Hadoop中MapReduce中任务处理方法。

背景技术

随着互联网技术的发展，数据量呈现爆发式的增长，这些数据没有统一的格式，虽然其中可能包含了人们需要的信息，但是对其没法采用常规的数据分析方法。大数据(BigData)包括结构化、半结构化、非结构化数据，其具有5V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。Hadoop是Apache主导的开源项目，旨在对海量数据进行处理、分析。Hadoop主要有HDFS(Hadoop Distributed FileSystem)、MapReduce等组成，HDFS是一种高性能的分布式存储技术，海量数据存储在HDFS中。MapReduce是数据分析引擎，主要包括Map阶段和Reduce阶段，就结构上来说，MapReduce有JobTracker和TaskTrackers组成，其中JobTracker是MapReduce的全局管理者，主要负责任务划分、作业控制、资源管理、状态监控等，集群中每个节点都包括一个TaskTracker，TaskTrackers将自身节点的运行的任务的情况发送给TaskTracker，以便TaskTracker进行综合性的决策。

然而，在实际应用中，Hadoop，更确切的说是Hadoop中MapReduce的JobTracker，对map任务的划分是根据文件的字节数和任务数对任务进行切分，其中用户可以通过numSplits参数控制map任务的数量，然而，其并没有考虑数据的特点和集群中节点的特点，没有针对性的对任务进行切分及分配，这样导致利用Hadoop整体执行效率不高，没有充分发挥节点的计算力。

发明内容

针对MapReduce中的JobTrackers对任务切分没有考虑数据特点和节点特点，导致Hadoop执行效率低的问题，本申请提出来一种MapReduce任务切分方法和系统，实践证明，其可以有效提高大数据数据分析的效率。

本发明提出的任务处理方法，主要包括以下步骤：

S1，对HDFS中存储的文件进行处理，分别建立结构化数据、半结构化数据、非结构化数据的链表，所述链表记录有对应文件存储位置和数据大小；

S2，采集集群中各个节点的资源信息以及历史数据处理信息，根据预设的方法对节点添加标签；

S3，遍历结构化数据链表、半结构化数据链表和非结构化数据链表，计算得到结构化数据链表中总的待处理数据量、半结构化数据链表中总的待处理数据量、非结构化数据链表中总的待处理数据量，进而得到HDFS中总的待处理数据量，根据所述HDFS中总的待处理数据量和用户通过numSplits参数设置的map任务的数量，计算得到每个map任务待处理的数据量；

S4，根据每个map任务待处理的数据量，计算分配给结构化数据、半结构化数据、非结构化数据中每一个的任务数，并根据集群中节点的标签，将任务及链表的对应数据分配给相应的节点。

由于不同的节点的硬件设备不同，其处理不同类型数据的速度也不同，例如非结构数据一般包括大量的图片、音频、视频等，GPU是处理图片、视频的速度明显高于CPU，而且处于成本考虑，有些节点可能没有配置GPU，如果将非结构化数据分配到没有配置GPU的节点，大数据平台整体的处理效率会偏低。这就需要对节点进行分类。在一个实施例中，所述S2具体包括以下步骤：