[发明专利]基于集群并行运算的GNSS导航信号海量数据快速处理方法

摘要

本发明提供了一种基于集群并行运算的GNSS导航信号海量数据快速处理方法，收集所有有关GNSS导航数据处理的各类型数据；挑选出能够综合分析、相互无依赖关系的数据；采用若干计算机作为节点构建集群环境；针对挑选出的数据进行任务分解、数据分解或数据流分解；最终构建可并行执行算法。本发明将GNSS导航信号处理算法的多数据源特性和集群的多任务进行无缝集成，针对GNSS导航信号处理的数据种类繁多、数据量巨大等问题，提出了构建基于集群环境的并行执行框架，大大提高运算效率和实时性，提高运算的可靠性。

主权项

一种基于集群并行运算的GNSS导航信号海量数据快速处理方法，其特征在于包括下述步骤：步骤1，收集所有有关GNSS导航数据处理的各类型数据；挑选出能够综合分析、相互无依赖关系的数据；步骤2，采用若干计算机作为节点构建集群环境，包括用户节点、管理节点、存储节点和计算节点；所述的用户节点提供用户界面，接受用户任务，通过运行调度器将任务分派到其它节点，并将运算结果返回给用户；所述的管理节点对集群中的任意节点进行监视和操作，并处理集群中所有节点的日志和报警信息；所述的存储节点提供存储共享，确保数据同步访问；所述的计算节点包括胖节点和工作节点，胖节点的计算能力优于工作节点，每个集群包括1个胖节点和若干工作节点；各个节点间通过进程间通信网络在执行并行任务时进行进程间通信，管理节点通过管理网络收集集群信息、监视集群计算机和执行维护任务的网络，计算节点通过存储访问网络访问存储节点；步骤3，针对步骤1挑选出的数据进行任务分解、数据分解或数据流分解；所述的任务分解对应用程序根据其执行的功能进行分解；所述的数据分解将应用程序根据各任务所处理的数据进行分解，利用多个线程对不同的数据块执行相同的操作；所述的数据流分解将一个线程的输出作为另一个线程的输入；步骤4，构建可并行执行算法，具体步骤如下：(1)通过提取存储节点的数据文件和文件列表文件标识，完成数据采集文件的提取；(2)对提取的数据文件进行合理性检验、剔除野值、系统误差修正和公共误差修正；(3)将M个同步通道、每个通道N颗卫星、每颗卫星L个频点的任务一次性投入集群系统，并行计算，最后在胖节点上面完成各工作节点计算数据比价汇总；(4)对于需要其他指标结果作为输入的数据，在执行并行计算后执行串行计算。