[发明专利]大数据处理方法、装置、服务器及可读存储介质

权利要求书

1.一种大数据处理方法，应用于服务器，其特征在于，所述方法包括：

获取待处理的大数据处理任务；

根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；

按照所述任务类型的处理顺序，建立大数据处理列表；

基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中；

所述服务器中预先配置有每个任务的处理策略，所述处理策略包括并行处理策略和串行处理策略，其中，所述并行处理策略表征该任务只与上个处理顺序的任务相关，所述串行处理策略表征该任务与其它采集设备的任务相关，所述根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型的步骤，包括：

获取每个大数据处理任务的处理策略；

根据所述处理策略确定每个大数据处理任务的任务类型。

2.根据权利要求1所述的大数据处理方法，其特征在于，所述将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，包括：

获取各个处理器核心的空闲率；

根据每个处理器核心的空闲率，确定分配给每个处理器核心的同一并行任务的任务数量；

将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理。

3.根据权利要求2所述的大数据处理方法，其特征在于，所述根据每个处理器核心的占用率，确定分配给每个处理器核心的同一并行任务的任务数量，包括：

计算每个处理器核心的空闲参数，其中，所述空闲参数为每个处理器核心的空闲率和所有处理器核心的总空闲率的比值；

根据每个处理器核心的空闲参数和同一并行任务的任务总数量，确定分配给每个处理器核心的同一并行任务的任务数量。

4.根据权利要求2所述的大数据处理方法，其特征在于，所述服务器中还配置有每个并行任务的任务级别与处理器核心的频率之间的对应关系，所述将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理，包括：

将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心；

获取所述并行任务的任务级别；

根据所述任务级别对应调整所述处理器核心的频率，并控制每个所述处理器核心基于调整后的频率对分配的所述并行任务进行处理。

5.一种大数据处理装置，应用于服务器，其特征在于，所述装置包括：

获取模块，用于获取待处理的大数据处理任务；

确定模块，用于根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型，所述任务类型包括串行任务和并行任务；

建立模块，用于按照所述任务类型的处理顺序，建立大数据处理列表；

任务处理模块，用于基于所述大数据处理列表，将每个串行任务通过主线程进行串行处理，将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理，并将并行处理后的任务数据串行应用于下一处理顺序的串行任务中；

所述服务器中预先配置有每个任务的处理策略，所述处理策略包括并行处理策略和串行处理策略，其中，所述并行处理策略表征该任务只与上个处理顺序的任务相关，所述串行处理策略表征该任务与其它采集设备的任务相关，所述根据大数据的采集设备的设备类型确定所述大数据处理任务的任务类型的方式，包括：

获取每个大数据处理任务的处理策略；

根据所述处理策略确定每个大数据处理任务的任务类型。

6.根据权利要求5所述的大数据处理装置，其特征在于，所述将同一并行任务分配到所述服务器的各个处理器核心上进行并行处理的方式，包括：

获取各个处理器核心的空闲率；

根据每个处理器核心的空闲率，确定分配给每个处理器核心的同一并行任务的任务数量；

将所述同一并行任务按照确定的任务数量分别分配给对应的处理器核心进行并行处理。