[发明专利]一种基于R树的分布式时空数据索引方法

说明书

本发明公开了一种基于R树的分布式时空数据索引方法，同一空间内离散实体的时空点序列依据时间顺序构成了该实体的运动轨迹。通过动态划分、建立、维护空间栅格，结合相邻轨迹数据划分轨迹片段，并确定一定时间窗口；构建时空索引高效查询方法是：(1)确立空间网格的动态划分及维护策略；(2)对空间网格内轨迹片段进行划分；(3)建立启发式的动态时空查询算法；(4)构建时空索引的动态维护策略。从而获得查询响应时间的大幅提升，并保证索引维护期间查询的正确响应。

技术领域

本发明涉及时空数据索引分析领域，特别是一种基于R树的分布式时空数据索引方法。

背景技术

R树是一种有序扩展的对象存取方法之一，也是目前应用最为广泛的一种空间索引结构。同一空间内离散实体的时空点序列依据时间顺序构成了该实体的运动轨迹。针对离散实体的移动范围相对全球区域范围较小且运动稀疏的特点，时空索引被分为空间索引及时间索引两层：首先将空间区域划分为若干网格，进而在每个空间网格内构建离散实体的时空点对应的时间范围索引，索引节点中的每个离散实体对应该船舶的完整运动轨迹。时空索引的构建过程及查询过程均基于并行计算框架实现，每个空间网格将并行构建该网格内的时间范围索引；执行点查询、区域查询及轨迹查询时，首先将输入的查询条件转换为时空查询范围，然后依据该查询范围并行查找时空索引获得候选对象集合，最终在该对象集合上精确查找符合查询条件的时空点。

以通用并行处理框架实现时空查询，既可以以指定形式直接导出存储，也可以作为处理链的一环，促进数据查询检索效率和手段构建便利性的大幅提升。

发明内容

本发明的目的是解决时空数据索引分析时效率低下的问题，提出了一种基于R树的分布式时空数据索引方法，本方法以轨迹数据文件为索引单元执行构建，在索引记录规模较小的前提下，将时间、空间信息作为多维信息同时进行考虑，构建了时空三维的R树时空索引，在执行构建前通过空间填充曲线Hilbert函数评估索引记录间的时空相近程度对索引记录进行预排序，使具有相近时空的记录排序后同样接近从而改善时空索引的构建过程。主要包括：(1)、索引记录生成；(2)索引记录预排序；(3)索引树构建。

所述索引记录生成通过存储在Hive中的单张轨迹数据表，采用单个文件存储所有已构建的时空索引树的属性信息，每行记录包含一个索引树的索引文件所在文件夹的HDFS路径、该索引树中索引文件的HDFS文件路径共同前缀，以及该索引树中包含所有索引记录的时间戳、经纬度取值范围；文件中的记录按索引树包含的最小时间戳取值升序存储。具体步骤如下：

(11).被索引的文件存储在一个文件夹；

参与构建时空索引的轨迹数据文件存储在HDFS的同一文件夹下。

(12).构建文件索引记录；

基于所有文件索引记录构建的R树时空索引最终将序列化为若干个索引文件，存储在HDFS的指定目录下，同一时空索引树的索引文件存储在单独文件夹下。

(13).索引记录元组生成；

对所有轨迹数据文件进行遍历，并以文件为单位对文件中包含的轨迹数据记录的时间戳、经纬度取值进行统计，生成参与索引的索引记录元组。

(14)索引记录生成算法；

索引记录生成的算法描述主要说明了对大量轨迹数据文件进行并行遍历并统计各文件的时间戳、经纬度取值范围，最终生成索引记录。

(15)三元组间的聚合算法；

将该时空三元组的时间、经纬度值与范围元组中的对应最大值最小值进行比较，选取其中的较大、较小值作为新的最大值、最小值，并将比较后的新时空范围元组作为结果返回。