[发明专利]一种大数据任务处理方法及系统

权利要求书

1.一种大数据任务处理方法，其特征在于，包括以下步骤：

S1，对HDFS中存储的文件进行处理，分别建立结构化数据、半结构化数据、非结构化数据的链表，所述链表记录有对应文件存储位置和数据大小；

S2，采集集群中各个节点的资源信息以及历史数据处理信息，根据预设的方法对节点添加标签；

S3，遍历结构化数据链表、半结构化数据链表和非结构化数据链表，计算得到结构化数据链表中总的待处理数据量、半结构化数据链表中总的待处理数据量、非结构化数据链表中总的待处理数据量，进而得到HDFS中总的待处理数据量，根据所述HDFS中总的待处理数据量和用户通过numSplits参数设置的map任务的数量，计算得到每个map任务待处理的数据量；

S4，根据每个map任务待处理的数据量，计算分配给结构化数据、半结构化数据、非结构化数据中每一个的任务数，并根据集群中节点的标签，将任务及链表的对应数据分配给相应的节点。

2.根据权利要求1所述的方法，其特征在于，所述S2具体包括以下步骤：

S21，采集集群中各节点的CPU、内存、GPU信息、历史数据处理信息，所述历史数据信息包括节点处理的结构化文件大小及用时，半结构化文件大小及用时，非结构化文件大小及用时，根据所述历史数据信息计算得到节点结构化文件平均处理速度、半结构化文件平均处理速度、非结构化文件平均处理速度；

S21，将无法获取节点GPU信息的节点作为第一节点集合，则直接将结构化标签、半结构化标签作为所述第一节点集合中每个节点的第一标签、第二标签，否则，执行S22；

S22，按照GPU性能对集群中的节点进行排序，选取排序的前n个节点，将所述前n个节点中非结构化文件平均处理速度大于阈值的节点作为第二节点集合，将非结构化标签、半结构化标签、结构化标签分别作为所述第二节点集合中每个节点的第一标签、第二标签、第三标签；

S33，将集群中其余的节点作为第三节点集合，将结构化标签、半结构标签、非结构化标签分别作为第三节点集合的第一标签、第二标签、第三标签。

3.根据权利要求2所述的方法，其特征在于，所述根据集群中节点的标签，将任务及链表的对应数据分配给相应的节点具体包括以下步骤：

S41，对于结构化数据处理任务，优先将其分配给给第一标签为结构化标签的节点，如果第一标签为结构化标签的节点不足以分配所有结构化数据处理任务，则将其分配给第二标签为半结构化标签的节点，如果还是不足以分配所有结构化数据处理任务，则将其分配给第三标签为非结构化标签的节点；

S42，对于非结构化数据处理任务，优先将其分配给给第一标签为非结构化标签的节点，如果第一标签为非结构化标签的节点不足以分配所有非结构化数据处理任务，则将其分配给第二标签为半结构化标签的节点，如果还是不足以分配所有非结构化数据处理任务，则将其分配给第三标签为结构化标签的节点；

S43，对于半结构化数据处理任务，优先将其分配给给第一标签为非结构化标签的节点，如果第一标签为非结构化标签的节点不足以分配所有半结构化数据处理任务，则将其分配给第二标签为半结构化标签的节点，如果还是不足以分配所有半结构化数据处理任务，则将其分配给第三标签为结构化标签的节点。

4.根据权利要求1至3任一所述的方法，其特征在于，所述根据每个map任务待处理的数据量，计算分配给结构化数据、半结构化数据、非结构化数据中每一个的任务数还包括：根据用户的设置以及每个map任务待处理的数据量，计算分配给结构化数据、半结构化数据、非结构化数据中每一个的任务数。

5.根据权利要求1至3任一所述的方法，其特征在于，所述的方法应用在MapReduce中。