[发明专利]数值程序的数据处理系统

说明书

本申请提供的一种数值程序的数据处理系统，包括：输入配置模块，用于获取输入配置信息；管理模块，至少用于基于所述第一配置信息注册所述第一存储网格；数据传递与多维插值管理模块，至少用于完成M个I/O进程与所述数值程序的N个计算进程之间的数据传递；数据并行输入驱动模块，用于基于所述第二配置信息建立所述第一存储网格在所述M个I/O进程的并行剖分，并操作所述M个I/O进程从第一文件中读入变量对应的输入数据，在所述第一存储网格与所述变量的第一计算网格相同时，调用所述数据传递与多维插值管理模块使所述M个I/O进程将所述输入数据发送给N个计算进程，以将所述输入数据并行输入至所述变量。

技术领域

本申请涉及数据处理技术领域，特别地涉及一种数值程序的数据处理系统。

背景技术

用于模拟仿真计算的数值程序通常需要将被模拟仿真的对象离散表示为一定维度(一维、二维、三维、四维、甚至更多维)和分辨率的网格及其上的数据，然后在网格上对相应数学模型进行数值积分求解。数值程序的计算量通常很大，需要利用MPI(消息传递接口)等把数值程序并行化为多进程协同计算的并行程序，以利用高性能计算机众多的处理器核来加速计算，其中数值程序一个网格上的网格点集会被分拆为若干子集，每个进程负责一个子集对应的数值计算，进程间基于MPI等交换部分网格点上的数据。后续把网格点集在不同进程间的分派称为并行剖分。在进行积分运行的过程中，数值程序会不断将模拟仿真计算的结果输出到文件，也会从文件中输入数据，即数值程序有输入和输出数据的需求。

用于气候研究和气象海洋预报的地球系统模式和耦合数值预报模式(统称耦合模式)是典型的数值程序，由大气、陆面、海洋、海冰等分量模式通过耦合器的耦合集成而来。数值程序的应用广泛，但是相关技术中提供的数值程序的计算系统，应用不够灵活。

发明内容

针对上述问题，本申请提供一种数值程序的数据处理系统，包括：

输入配置模块，用于获取输入配置信息，所述输入配置信息包括：用于设置第一文件中变量的第一存储网格的第一配置信息和用于设置并行读入数据的M个I/O进程的设置信息；

综合管理模块，至少用于基于所述第一配置信息注册所述第一存储网格；

数据传递与多维插值管理模块，至少用于完成所述M个I/O进程与数值程序的N个计算进程之间的数据传递；

数据并行输入驱动模块，用于建立所述第一存储网格在所述M个I/O进程的第一并行剖分，并操作所述M个I/O进程从所述第一文件中读入变量对应的输入数据，当所述第一存储网格与所述变量的第一计算网格相同时，调用所述数据传递与多维插值管理模块使所述M个I/O进程将所述输入数据发送给N个计算进程，以将所述输入数据并行输入至所述变量。

在一些实施例中，所述数据传递与多维插值管理模块还用于对所述变量对应的输入数据进行并行插值计算处理，当所述第一存储网格与所述变量的第一计算网格不同时，所述数据并行输入驱动模块调用所述数据传递与多维插值管理模块对所述变量对应的输入数据进行并行插值计算处理，以使所述变量的第二计算网格与所述第一存储网格相同。

在一些实施例中，所述输入配置信息还包括：所述变量对应的输入数据的时间序列与所述数值程序中的时间之间的映射关系，所述数据并行输入驱动模块还用于确定所述输入数据的时间序列信息，并基于所述时间序列信息和所述映射关系，确定所述数值程序是否需要读入所述输入数据，其中，在确定需要读入所述输入数据的情况下，调用所述M个I/O进程读入所述输入数据。

在一些实施例中，所述综合管理模块还用于建立所述变量、所述第一存储网格、第一并行剖分信息之间的对应关系，并基于所述对应关系建立搜索关键字；

所述数据并行输入驱动模块和/或所述数据传递与多维插值管理模块和/或所述输入配置模块还用于基于所述搜索关键字查找所述对应关系。