[发明专利]一种基于多机多进程的地理网格金字塔并行构建方法

说明书

本发明涉及一种基于多机多进程的地理网格金字塔并行构建方法，包括如下步骤：步骤1、主进程将元数据和数据库配置相关信息进行合并之后使用组播的方式将属性信息发送到各个从进程中；步骤2、根据最大和最小层级切分瓦片数据；步骤3、主进程将瓦片元数据信息全量发送到指定的从进程中；步骤4、从进程的任务执行进度采用收集的方式，从进程接收分发的任务；步骤5、各个从进程循环执行数据校验；步骤6、各个从进程执行网格打码；步骤7、各个从进程执行网格数据入库；步骤8、各个从进程汇报任务状态：采用点对点的消息模型，实时向主进程汇报任务的处理状态和进度；步骤9、主进程收集从进程任务执行情况，等待全部进程结束。

技术领域

本发明涉及导航定位领域，尤其是一种基于多机多进程的地理网格金字塔并行构建方法。

背景技术

随着我国自发展北斗系统的广泛应用，北斗数据日益成为重要的数据源输入之一。北斗网格是适用于北斗系统终端输出的一种编码格式，具有我国完全自主知识产权，采用经纬度剖分，具有边界不重叠、网格正交、经纬一致、与传统数据规格兼容性好等特点，且能够进行点面一体化表征的特点。

全球任一空间几何对象都能够被北斗网格集合覆盖，北斗网格在空间无缝无叠、层次递归，与高性能并行计算分而治之的原理高度匹配，具有天然的并行计算优势。网格的空间划分进行空间数据计算任务划分，实现海量空间数据的网格并行化调度和计算。

MPI(Message Passing Interface)是独立于语言的通信协议，MPI是一种进程级的并行方式，它支持分布式存储。MPI是基于消息传递的并行编程，它提供了语义丰富的消息通信机制，包括点对点、组播和多播模式。用户程序利用这些接口进行进程之间的数据移动、聚集、规约和同步，常见的编程模式为单程序多数据模型(Single InstructionMultiple Data,SIMD)和主从模式。

一个进程可以通过指定另一个进程的rank序号以及一个独一无二的消息标签(tag)来发送消息给另一个进程。接受者可以发送一个接收特定标签标记的消息的请求(或者也可以完全不管标签，接收任何消息)，然后依次处理接收到的数据。类似这样的涉及一个发送者以及一个接受者的通信被称作点对点(point-to-point)通信。

当然在很多情况下，某个进程可能需要跟所有其他进程通信。比如主进程想发一个广播给所有的从进程。在这种情况下，手动去写一个个进程点对点的信息传递就显得很笨拙。而且事实上这样会导致网络利用率低下。MPI有专门的接口来帮我们处理这类所有进程间的集体性(collective)通信。

在集群系统中，集群的各节点之间可以采用MPI编程模型进行程序设计，每个节点都有自己的内存，可以对本地的指令和数据直接进行访问，各节点之间通过互联网络进行消息传递，这样设计具有很好的可移植性，完备的异步通信功能，较强的可扩展性等优点。

OpenMP是一套支持跨平台共享内存方式的多线程并发的编程API，使用C,C++和Fortran语言，可以在大多数的处理器体系和操作系统中运行。OpenMP是一个跨平台的多线程实现，主线程(顺序的执行指令)生成一系列的子线程，并将任务划分给这些子线程进行执行。这些子线程并行的运行，由运行时环境将线程分配给不同的处理器。

OpenMP是基于共享内存架构的并行计算框架，更适合本地单台计算机的运算，由于使用线程间共享内存的方式协调并行计算，它在多核/多CPU结构上的效率很高、内存开销小、编程语句简洁直观。

MPI+OpenMP分布式混合并行框架能够很好的解决集群和单机上遇到的并行问题，将任务划分成小任务，有MPI负责粗粒度的任务并行，将多个任务在多节点之间进行分发和共享。OpenMP负责细粒度的计算并行，每个进程获取小任务之后，再将任务分发成微任务，启动多个开销更小的子线程去并行处理，最大限度地将任务细分，资源利用最大化。