[发明专利]大数据处理方法、装置、服务器及可读存储介质

说明书

本发明实施例提供一种大数据处理方法、装置、服务器及可读存储介质。该方法包括：获取待处理的大数据处理任务；根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；按照所述任务类型的处理顺序，建立大数据处理列表；基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。由此，能够将不同采集设备的处理任务分类处理，提高了处理效率，充分发挥多核处理器的优点，有效提高服务器的负载能力，从而承担更多的大数据处理任务。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种大数据处理方法、装置、服务器及可读存储介质。

背景技术

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。

大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。现有的大数据处理限于负载均衡的处理，无法将不同采集设备的处理任务分类处理，处理效率低。

发明内容

为了克服现有技术中的上述不足，本发明的目的在于提供一种大数据处理方法、装置、服务器及可读存储介质，能够将不同采集设备的处理任务分类处理，提高了处理效率，充分发挥多核处理器的优点，有效提高服务器的负载能力，从而承担更多的大数据处理任务。

为了实现上述目的，本发明实施例采用的技术方案如下：

本发明实施例提供一种大数据处理方法，应用于服务器，所述方法包括：

获取待处理的大数据处理任务；

根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；

按照所述任务类型的处理顺序，建立大数据处理列表；

基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中。

可选地，所述服务器中预先配置有每个任务的处理策略，所述处理策略包括并行处理策略和串行处理策略，其中，所述并行处理策略表征该任务只与上个处理顺序的任务相关，所述串行处理策略表征该任务与其它采集设备的任务相关，所述根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型的步骤，包括：

获取每个大数据处理任务的处理策略；

根据所述处理策略确定每个大数据处理任务的任务类型。

可选地，所述将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，包括：

获取各个处理器核心的空闲率；

根据每个处理器核心的空闲率，确定分配给每个处理器核心的同一并行任务的任务数量；

将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理。

可选地，所述根据每个处理器核心的占用率，确定分配给每个处理器核心的同一并行任务的任务数量，包括：