[发明专利]一种海量时空数据的高效组织与管理方法

说明书

本发明公开了一种海量时空数据的高效组织与管理方法，方法的整体步骤如下：步骤一、数据上传；步骤二、数据处理；步骤三、数据存储；步骤四、空间数据动态分块：a、构建矢量数据Key‑Value数据模型；b、HDFS矢量数据分块存储。本发明针对大并发访问中的信息访问安全、高并发访问、多源异构时空信息数据融合存储更新等问题，开展基于云架构下的解决方案研究，实现海量多源异构数据的有效集成管理，提高分布式环境下空间数据的分发、访问及操作性能，同时，研究GIS数据分布式动态分块技术，优化GIS服务引擎的分发效率，满足智慧城市地理空间数据高效的存储管理与共享分发。

技术领域

本发明涉及一种高效组织与管理方法，尤其涉及一种海量时空数据的高效组织与管理方法。

背景技术

近年来，地球空间信息学相关技术的快速发展为GIS(地理信息系统)提供了海量的数据来源。随着空间数据量的急速膨胀以及人们对空间信息依赖程度的不断加深，空间信息数据量大、结构复杂、分布式异构存储等特征与空间数据实体及其处理功能的获取效率之间的矛盾日益突出，GIS功能的服务化以及数据和功能获取的智能化为该矛盾的解决提供了一个可行的思路。

目前，高密集型数据存储管理、高性能计算、高并发访问、高密集应用技术对大数据的支持力度较弱，存储应用、共享无法提供强大的地理空间分析计算服务，扩展能力较弱，无法承载高并发访问的压力，应用支撑能力弱，无法承载更丰富的应用。

然而，多源异构时空数据不同的存储方法造成管理不方便；本地(远程)文件、管理数据库等多种存储方式混合使用，难以进行统一、自动化的管理，如备份，安全、数据输出和检索等；结构化、非结构化数据往往分开以不同的方式存储，不同空间数据库和文件格式的语义、语法、能力千差万别，增加了应用程序开发的难度；高并发情况下，集中式的数据存储是瓶颈，并且集中式的存储方法，容易造成应用性能的急剧下降。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种海量时空数据的高效组织与管理方法。

为了解决以上技术问题，本发明采用的技术方案是：一种海量时空数据的高效组织与管理方法，方法的步骤如下：

步骤一、数据上传：采用服务中心的方式对数据进行存储管理，数据中心通过统一的数据导入接口对数据进行上传；在数据上传的时候，先计算数据的哈希值，将计算出的哈希值与数据中心中的哈希值进行对比，通过哈希值判定数据是否存在，从而使服务中心获取数据；

步骤二、数据处理：服务中心在获取使用者上传的数据后，提取数据的元信息；在元信息形成后，再对空间型数据进行深化处理，提取空间数据信息；将提取的元信息通过关系或者非关系数据库进行存储，用来进行数据的统一检索、过滤；

步骤三、数据存储：采用MongoDB非关系数据库存储海量数据，当用户在MongoDB中导入相关数据时，MongoDB集群对单个分片上的数据是否超过预设值进行判断，若是超出存储限值，便会自行启动分片机制，对集合进行分块，然后分别派送至不同的分片上，在这一过程中，集群各分片上的MetaDate信息存储全都存储在Config Server服务器上；

步骤四、空间数据动态分块：

a、构建矢量数据Key-Value数据模型：假定空间数据集D包含多个空间对象实体，利用GeoJSON格式描述矢量空间数据几何实体，形成矢量数据文件格式；同时，每个空间对象实体记录都以文本文件的方式保存为一行，利用Hadoop平台提供的基于文本行的文件操作函数，实现每个空间对象实体记录的读取和写入；

b、HDFS矢量数据分块存储：将利用矢量数据Key-Value数据模型创建的空间对象实体记录文本及元数据文件上传到HDFS文件系统，HDFS将其进行自动切割，分成大量小的数据块，缺省为64MB，分别存储到不同的节点上。