[发明专利]基于分布式数据库的海量时空数据管理方法

说明书

本发明提供了一种基于分布式数据库的海量时空数据管理方法，该方法包括以下步骤：步骤S1，对时空数据的区域进行分片：基于地理格网的划分规则将时空数据进行格网离散，并将时空数据所处的地理格网的地理空间编码作为时空数据的空间索引；步骤S2，将时空数据的索引结构设计为由分区编码、时间编码、地理编码、倒排时间和唯一编码构成；步骤S3，设计时空数据的存储表，并将时空数据导入分布式数据库中，通过综合考虑地理格网的编码原理和规则，在保证数据空间相关性的同时将时空数据均匀离散地存储到了各个数据库节点上，均衡了各个节点的负载；另外，将空间、时间关系紧密的数据存储到了更为接近的位置，提高数据的读写效率。

技术领域

本发明属于地理信息系统数据处理技术领域，具体地涉及一种基于分布式数据库的海量时空数据管理方法。

背景技术

随着时空数据全面迈向“大数据”时代，数据的存储模式也进入了“集群管理”时代。使用分布式数据库存储时空数据是广泛采用的时空数据存储方案。分布式数据库采用可扩展的系统架构，整合了集群中各节点的存储和计算资源，通过利用多台存储服务器分担存储负荷，位置服务器定位存储信息，可以满足对时空大数据的高效存储和快速访问。此外，在分布式数据库中，常将一组或几组的数据按顺序连续排列在一起，形成数据库管理的块状基本单元，我们将这种块状单元统称为数据块。将数据块作为数据组织和管理的基本单元，可以实现对数据的高效存储和管理，满足时空大数据的存储和管理需求。因此，越来越多的研究人员将分布式数据库应用到了时空数据的存储领域中。

用分布式数据库存储时空数据时，为了减轻数据库的存储压力，常将原本庞大的时空数据拆分成细粒度的空间单元存储到不同的数据节点中，实现对海量时空数据的连续存储和快速访问。这种存储模式核心思想是利用格网和空间填充曲线对地理空间进行连续分割格网划分和统一编码，再将时空数据装载在单元格中并离散存储于分布式数据库中。这样的存储思想充分考虑到了数据之间的空间相关性，基于各种空间编码为数据设计时空索引，将空间相关性高的数据存储在相近的位置，提高了查询效率。L.Wang等人将HBase应用到遥感影像的存储中，并引入了GeoSot来作为第一索引编码，实现遥感影像的高效存储。A.Fox等人在Accumulo中存储时空点数据和面数据，通过引入地理格网Geohash作为数据的空间键，结合数据的时间编码来索引数据，实现了数据的时空查询和有效过滤。

这些研究人员将格网编码作为第一索引依据来存储时空数据，从而将空间相关性强的数据存储到相近的位置，提高数据获取的效率。但是，分布式数据库节点间的负载均衡和数据的组织模式却往往没得到应有的重视。这样的存储设计存在两个问题。首先，局部区域的数据由于具有相似的索引而存储过于集中，读写请求只集中于集群中的部分节点上，节点间的请求负载不均衡，进而影响到数据的读写效率。其次，由于数据以所处格网的空间编码为主要依据排序，随着时序数据的增加，某一空间范围下，处于同一采集时间节点下的数据的物理存储距离变远。而时空数据的查询又常以某一空间范围、某一时间范围为基本条件，因此这样的数据组织方式会增加目标数据的定位耗时。因此，在存储时空数据时，在保证空间相关性的前提下，如何确保分布式数据库各个节点的负载均衡，根据应用情景合理组织时空数据的存储模式是亟待解决的问题。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种能够保证分布式数据库各个节点的负载均衡并且能数据组织和排序模式合理的基于分布式数据库的海量时空数据管理方法。

本发明提供了一种基于分布式数据库的海量时空数据管理方法，其特征在于，包括以下步骤：步骤S1，对时空数据的区域进行分片：根据精度需求，并基于地理格网的划分规则将时空数据进行格网离散，并将时空数据所处的地理格网的地理空间编码作为时空数据的空间索引；步骤S2，根据业务需求为时空数据设计索引结构：将索引结构设计为由分区编码、时间编码、地理编码、倒排时间和唯一编码构成；步骤S3，设计时空数据的存储表，并将时空数据导入到分布式数据库中。