[发明专利]一种天文数据并行处理装置和方法

说明书

本发明公开了一种天文数据并行处理装置和方法，其中处理装置计算集群，包括：管理服务器、存储服务器和多个计算服务器，存储服务器用于存储多个天文数据文件，参数文件以及天文数据处理指令，该指令由运行于多个所述计算服务器同时执行。所述方法包括：管理服务器运行启动模块；启动模块将并行模块分配于多个计算服务器运行，并为天文数据处理程序分配一个任务号；并行模块启动天文数据处理程序，同时根据任务号从存储服务器内的参数文件中提取参数并将其输入至天文数据处理程序；天文数据处理程序根据参数处理存储服务器内的天文数据文件，并将结果保存于存储服务器。

技术领域

本发明涉及天文数据处理领域，尤其涉及一种天文数据并行处理的装置和方法。

背景技术

随着天文观测设备的不断建设与精度升级，天文数据的采集能力大大增强，天文研究进入到了大数据时代，原有的天文数据处理程序无法满足大数据处理的时间要求，大规模并行成为了加速天文数据处理的必备手段。

HPC(High Performance Computing System，高性能计算系统)是并行计算的主要环境，其核心是由多台相同架构的计算服务器，通过高速网络组成计算集群，再由并行处理软件将计算任务分布于不同的计算服务器上，从而实现计算任务的并行执行。因此，实现并行计算任务，除了必需的计算硬件外，并行计算的软件是重要的组成部分，目前，HPC环境下的并行软件的开发都是基于MPI(Message Passing Interface，消息传递接口)来进行的。

MPI是用于HPC环境下进行并行程序开发的标准协议接口，设计了并行程序开发的基本框架及子进程之间的数据交互方式，目前有openMPI，IntelMPI，MPICH等多种实现形式，但是实现的原理都是一致的但是，在大规模的数据处理环境下，需要让不同的进程执行不同的计算任务或对应不同的输入数据，此时，通常的做法需要在原有程序基础上根据MPI的框架来重新进行并行设计，让不同的进程根据不同的进程编号执行不一样的动作，从而在HPC环境下正确的并行执行。否则虽然启动了多进程，但由于执行的命令都是一样的，无法达到并行处理数据的目的。

对原有串行程序的并行化改造是一个非常复杂的技术工作，一方面，对于程序的使用来来讲，由于缺乏源代码或对源代码不熟悉的情况下，这种改造都无法开展，另一方面，即使在有源代码的情况下，并行化改造后，将造成原有程序流程的改变，不便于程序在不同计算环境下的移值。

发明内容

(一)要解决的技术问题

本发明一种天文数据并行处理的装置和方法，以至少部分解决现有方法中天文数据串行处理速度慢、效率低的缺点。

(二)技术方案

根据本发明的一方面，提供了一种天文数据并行处理的装置，包括：一计算集群，包括一管理服务器、一存储服务器和多个计算服务器；所述存储服务器用于存储多个天文数据文件，参数文件以及天文数据处理指令，该指令由运行于多个所述计算服务器同时执行，执行时包括如下步骤：同时从参数文件中提取参数；发起天文数据处理任务，将所述天文数据并行分配于多个所述计算服务器中运行。

在进一步的方案中，所述管理服务器、存储服务器和计算服务器为通过以太网络连接且工作于同一网段内。

根据本发明的另一方面，还提供了一种天文数据并行处理的方法，包括：运行启动模块；将并行模块分配于多个计算服务器运行，并为天文数据处理程序分配一个任务号；启动天文数据处理程序，同时根据任务号从存储服务器内的参数文件中提取参数并将其输入至天文数据处理程序；根据参数处理存储服务器内的天文数据文件，并保存结果。

在进一步的方案中，所述天文数据处理程序同时运行于所述多个计算服务器中。

在进一步的方案中，所述并行模块同时运行于所述多个所述计算服务器中，从参数文件中提取参数并启动天文数据处理程序，该并行模块遵从MPI标准规范。