[发明专利]一种非关系数据库中的时空数据索引方法

说明书

本发明公开了一种非关系数据库中的时空数据索引方法，在分布式环境中，为时空数据建立基于四叉树与Hilbert曲线的空间索引；结合时空数据的时间属性，形成统一的时空索引；将时空索引分为分区键和排序键两部分，并使用一致性哈希实现空间数据在动态的网络拓扑中分布存储和路由；当收到查询请求时，根据时间及空间范围确定查询范围的分区键和排序键并在存储节点中进行检索，返回查询结果。本发明提高了时空数据的存储与查询效率，每个存储节点只需要维护自身分配的数据，且存储节点的增加删除都不会引起索引的错误，满足了高并发条件下数据访问的实时性要求，数据库可扩展性好。

技术领域

本发明涉及数据库技术领域，具体是一种非关系数据库中的时空数据索引方法。

背景技术

随着技术的发展，大数据广泛存在于各行各业中，如企业数据、医疗数据、互联网数据、物联网数据等，包括结构化的、半结构化的和非结构化的数据，数据种类多且数量大，其规模或复杂程度已远远超出了常用传统数据库和软件技术所能管理和处理的数据集范围。

大数据为各行各业带来新的发展机遇，同时也为有效管理和利用大数据提出了挑战。尽管不同种类的海量数据存在一定的差异，但总体而言，支持海量数据管理的系统应具有如下特性:高可扩展性(满足数据量增长的需要)、高性能(满足数据读写的实时性和查询处理的高性能)、容错性(保证分布系统的可用性)、可伸缩性(按需分配资源)和尽可能低的运营成本等。然而，由于传统的RDBMS的设计从未考虑需要处理日益增长且格式多变的数据，以及访问数据并进行分析的用户数量呈爆炸式增长，所以在处理海量数据时存在诸多局限：(1)不易更改：RDBMS一般都是固定的schema，缺乏对非结构化数据的支持，而且Schema一旦确定后期很难更改；(2)扩展困难：由于存在类似Join这样多表查询机制，而且缺少对数据分片存储的管理，使得数据库在数据扩容方面很艰难；(3)I/O效率差，吞吐量低：这种情况主要发生在数据量达到一定规模时由于关系数据库的系统逻辑非常复杂，使得其非常容易发生死锁等的并发问题，所以导致其读写速度下滑非常严重；(4)有限的容量支撑：很难满足大规模数据存储和实时分析处理的要求。因此，大数据时期由关系数据库发展至非关系数据库是大势所趋。

时空数据是一种典型的大数据，它是一种同时具有时间和空间维度的数据，现实世界中的数据超过80％与地理位置有关。近年来，随着人类生产活动的加剧及新型空间地理信息技术的不断发展涌现，时空数据正呈爆炸式增长，时空大数据正势不可挡地取代传统的静态空间数据而成为地理信息社会化应用的主要形式。与传统的静态空间数据相比，时空大数据呈现出Volume(体量大)、Velocity(增速快)、Variety(样式多)、Value(价值高)的“4V”特点。传统的基于关系数据库进行扩展或基于传统数据库管理系统开发空间数据库引擎的空间数据库管理技术、索引技术已经无法解决时空数据在生产管理与应用上面临的存储组织与分析处理难、集成应用难及数据全生命周期管理难等问题，将时空大数据放至非关系数据库中进行一体化管理的技术应运而生。

目前，大多数基于分布式的数据库系统通常采用key-value存储模型存储数据，即数据库中的数据组织为key-value对。Key-Value数据库典型的是以key索引为主，常见的有hash索引、B-tree索引等。为了提供丰富的查询能力，一些key-value数据库还建有二级索引或称辅助索引(secondary index)，同时，为了提高对海量数据的查询效率，一些系统采用了BloomFilter技术，但已有的这些索引都是局部索引。