[发明专利]基于OGR的shapefile文件主从式并行写方法

说明书

技术领域

本发明属于高性能地理计算领域，特别是涉及了一种基于OGR的shapefile文件主从式并行写方法。

背景技术

随着对地观测技术的长足进步，海量多维时空数据日益增长，地理信息日益丰富，地理矢量数据处理后写入磁盘越来越呈现出高度密集的特点，而shapefile(ESRI公司的描述空间数据的几何和属性特征的非拓扑实体矢量数据结构的一种格式)文件是最常使用的矢量数据文件。现有地理信息系统的串行写模式和传统硬件平台，已难以支撑海量shapefile文件快速写的需求。随着并行计算集群与多核处理器的新型硬件架构的逐渐普及，为受制于计算性能而难以开展的shapefile文件快速写提供了契机。因此，基于新型硬件架构发明高效的shapefile文件并行写方法具有重要的研究价值，其将为海量shapefile数据处理、大规模复杂地理计算奠定基础。

OGR是GDAL（Geospatial Data Abstraction Library）项目的一个分支，功能与GDAL类似，只不过它提供对矢量数据的支持。GDAL是一个在X/MIT（MIT许可协议之名源自麻省理工学院（Massachusetts Institute of Technology, MIT），又称“X许可协议”（X License）, 是许多软件授权条款中，被广泛使用的其中一种。）许可协议下的开源栅格空间数据转换库。有很多著名的GIS（Geographic Information System）类产品都使用了GDAL/OGR库，包括ESRI的ArcGIS9.2, Google Earth和跨平台的GRASS GIS(Geographic Resources Analysis Support System)系统等，本发明同样也使用了OGR的库函数。

在计算机的发展史中，提高计算机处理速度的途径有两个，一是改进元器件以提高其性能，二是开发系统的并行性。近年来，由于PC（Personal Pomputer）机运算速度的大幅度提高、硬件价格的降低及单机多核CPU的PC机的出现，计算机的处理速度已不是问题，而怎样高效的利用这些高性能的计算机成为了研究的热点，MPI（Message Passing Interface，是消息传递并行程序设计的标准之一）并行计算编程开发软件技术的发展，为并行计算问题提供了新的思路。MPI 是一个并行计算消息传递接口标准，由MPI论坛推出，制定该标准的目的是提高并行程序的可移植性和开发效率。2009年，卢宇彤、杨学军等在期刊《计算机研究与进展》第46卷Suppl.版发表了“一种面向多核系统的并行计算任务分配方法”一文，建立了面向多核处理器进度调度模型，设计并实现了并行任务到多核映射算法，更好地解决了大规模资源管理系统中面向多核处理器的任务分配问题，降低了多个进程运行时相互干扰，提升了应用程序性能。2004年，吕捷等在《红外与激光工程》33卷第5期中发表“MPI并行计算在图像处理方面的应用”一文，着重论述了图像处理算法的并行实现方法，列举了一些提高并行算法效率的一些措施。2010年，曾艳在《计算机应用于软件》第6期发表“基于MPI的主从式任务分配的研究与实现”中，通过使用连通分量算法进行任务分配来实现负载平衡，从而减少程序执行时间，提高了计算效率。主从式是MPI并行程序设计的一种较复杂的模式，需要对主从进程进行功能的划分和主从进程间通信策略设计。前人的研究多侧重数据处理方法的并行化研究，而没有考虑当数据量非常大时，数据与磁盘的I/O(input/output)时间将严重影响程序执行的效率,而其中矢量数据中大量的地理数据多以shapefile文件存储，所以对shapefile文件的并行写方法的发明对shapefile文件的高效处理具有重要意义。

Shapefile文件并行写方法的发明将显著提高各行业地理信息应用的效率，特别是区域尺度、企业级应用下海量地理空间shapefile文件高性能、高效率、高质量处理的需求。海量地理shapefile文件高性能并行写方法的发明，完全符合当前技术发展趋势，极具研究价值和实用价值。

发明内容

1.    发明要解决的技术问题

本发明的方法针对现有地理信息系统的串行写模式和传统硬件平台难以支撑海量shapefile文件快速写的需求的不足，提供了一种基于OGR的shapefile文件主从式并行写方法。

2.    本发明的技术方案如下：