[发明专利]基于众核集群的大数据并发调度及加速处理方法

说明书

本申请公开了一种基于众核集群的大数据并发调度及加速处理方法。所述基于众核集群的大数据并发调度及加速处理方法包括：获取海洋数据文件；拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长。通过采用本申请的基于众核集群的大数据并发调度及加速处理方法能够根据需要更改获取到的时空数据文件的分辨率以及时间步长，并且计算速度快。

技术领域

本发明涉及并行处理技术领域，具体涉及一种基于众核集群的大数据并发调度及加速处理方法以及海洋数据文件并行处理系统。

背景技术

海洋数值模拟是以现实海洋为基本物理背景,以高性能计算机为载体,按照物理规律,建立数学模型,从而对海洋状态(包括海温、盐度、海流、海浪、潮汐等要素)进行模拟,参数化、定量化地描述海洋的具体状况。随着计算机计算能力的飞速提升,海洋数值模拟近年来得到了极大的发展,逐渐成为海洋大数据的重要来源。其中CESM是众多海洋数值模系统中的佼佼者，其产生的数据量巨大，以数T的数量计算。对后续的的应用处理上比较困难。为解决模式系统产生大量数据无法及时处理的问题，从而发明本系统方法，以达到数千万数量级的并行数据处理系统能力。

CESM是由美国国家大气中心于2010年发布的新一代地球系统模式，是目前最先进、使用最广泛的地球系统模式之一。CESM利用耦合器协同大气、海洋、陆面、海冰等分量模式进行气候模拟。

发明内容

本发明的目的在于提供一种基于众核集群的大数据并发调度及加速处理方法，来克服或至少减轻现有技术的至少一个上述缺陷。

本发明的一个方面，提供一种基于众核集群的大数据并发调度及加速处理方法，所述基于众核集群的大数据并发调度及加速处理方法包括：

获取海洋数据文件；

拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；

通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长。

可选地，所述拆分所述海洋数据文件，从而获得至少两个海洋数据子文件包括：

根据球面八分体剖分网格、变量名称、深度信息及时间信息对所述海洋数据文件进行拆分，从而获得至少两个海洋数据子文件。

可选地，所述通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：

并行系统通过自适应调度方式和/或固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件。

可选地，所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述通过自适应调度方式对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：

调度节点获取各个海洋数据子文件中需要加速处理的海洋数据子文件的信息；

调度节点通过MPI点对点的方式将需要处理的海洋数据子文件的信息分发给各个计算任务空闲节点。

可选地，所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述并行系统通过固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件包括：

调度节点获取此次任务的计算任务空闲节点的数量；

调度节点获取需要加速处理的海洋数据子文件的信息；

调度节点根据需要加速处理的海洋数据子文件的信息生成任务群，所述任务群中包括多个任务；