[发明专利]基于众核集群的大数据并发调度及加速处理方法

权利要求书

1.一种基于众核集群的大数据并发调度及加速处理方法，其特征在于，所述基于众核集群的大数据并发调度及加速处理方法包括：

获取海洋数据文件；

拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；

通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长；所述拆分所述海洋数据文件，从而获得至少两个海洋数据子文件包括：

根据球面八分体剖分网格、变量名称、深度信息及时间信息对所述海洋数据文件进行拆分，从而获得至少两个海洋数据子文件；所述通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：

并行系统通过自适应调度方式和/或固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件；所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述通过自适应调度方式对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：

调度节点获取各个海洋数据子文件中需要加速处理的海洋数据子文件的信息；

调度节点通过MPI点对点的方式将需要处理的海洋数据子文件的信息分发给各个计算任务空闲节点；所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述并行系统通过固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件包括：

调度节点获取此次任务的计算任务空闲节点的数量；

调度节点获取需要加速处理的海洋数据子文件的信息；

调度节点根据需要加速处理的海洋数据子文件的信息生成任务群，所述任务群中包括多个任务；

所述调度节点为每个计算任务空闲节点分配至少一个任务；

每个所述计算任务空闲节点根据任务对需要加速处理的海洋数据子文件进行处理。

2.如权利要求1所述的基于众核集群的大数据并发调度及加速处理方法，其特征在于，每个所述计算任务空闲节点包括主核以及至少两个从核，每个所述计算任务空闲节点根据任务对需要加速处理的海洋数据子文件进行处理包括：

每个计算任务空闲节点的主核根据自己的ID号，自调度节点处所述获取对应的任务文件；

每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理。

3.如权利要求2所述的基于众核集群的大数据并发调度及加速处理方法，其特征在于，所述每个计算任务空闲节点的主核自调度节点处所述获取对应的任务文件包括一维数据；

所述每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理包括：

根据所述一维数据的长度对所述一维数据进行划分，从而形成多段一维数据分段；

每个从核获取一段一维数据分段进行处理。

4.如权利要求3所述的基于众核集群的大数据并发调度及加速处理方法，其特征在于，所述每个计算任务空闲节点的主核自调度节点处所述获取对应的任务文件包括二维数据，所述二维数据包括行数据以及列数据；

所述每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理包括：

根据所述一维数据的行数据对所述二维数据进行划分，从而形成多段二维数据分段；

每个从核获取一段二维数据分段进行处理。

5.一种海洋数据文件并行处理系统，其特征在于，所述海洋数据文件并行处理系统包括：

海洋数据文件获取模块，所述海洋数据文件获取模块用于获取海洋数据文件；

拆分模块，所述拆分模块用于拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；

并行系统，所述并行系统用于对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长；所述并行系统包括至少两个以上计算任务空闲节点；

所述拆分所述海洋数据文件，从而获得至少两个海洋数据子文件包括：

根据球面八分体剖分网格、变量名称、深度信息及时间信息对所述海洋数据文件进行拆分，从而获得至少两个海洋数据子文件；所述通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：

并行系统通过自适应调度方式和/或固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件；所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述通过自适应调度方式对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：

调度节点获取各个海洋数据子文件中需要加速处理的海洋数据子文件的信息；

调度节点通过MPI点对点的方式将需要处理的海洋数据子文件的信息分发给各个计算任务空闲节点；所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述并行系统通过固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件包括：

调度节点获取此次任务的计算任务空闲节点的数量；

调度节点获取需要加速处理的海洋数据子文件的信息；

调度节点根据需要加速处理的海洋数据子文件的信息生成任务群，所述任务群中包括多个任务；

所述调度节点为每个计算任务空闲节点分配至少一个任务；

每个所述计算任务空闲节点根据任务对需要加速处理的海洋数据子文件进行处理。