[发明专利]大规模空间数据环境下基于二级索引的通用查询方法

权利要求书

1.一种大规模空间数据环境下基于二级索引的通用查询方法，其特征在于，框架由以下几部分组成：客户端、Spark计算模块、HBase数据处理模块；该方法执行步骤如下：在HBase数据处理模块和Spark计算模块的Schema基础上调用SparkContext提供的API建立HBase的原始数据的RDD，RDD经过不断转化形成分布式二级索引存放在Spark Memory中；根据客户端的查询请求并行筛选二级索引模块，筛选出满足查询条件的Rowkey后从HBase中查询数据并返回结果给客户端；其中Rowkey为空间数据对象在HBase中的主键；

将倒排索引和GeoHash算法结合形成Inverted GeoHash索引，其模型为IG索引的模型，该模型的倒排GeoHash索引包含两部分：第一部分，是空间数据对象与其所在的GeoHash网格的映射；第二部分，是网格编码与存储在其中的所有数据对象的映射；利用GeoHash算法将地球划分成多个网格，对每个网格中的空间数据对象构建空间二级索引，通过每个网格的GeoHash编码反向索引其包含的空间对象的Rowkey，使用GeoHash算法和Base32编码对空间数据地理信息降维得到的一维字符串作为二级索引的key，每个空间数据在HBase表中的行键信息作为二级索引的value，GeoHash划分的矩形区域中，每一个区域都有固定的编码，同一个区域内的点编码都相同，通过改变GeoHash编码的长度改变矩形区域的覆盖范围；

由Spark编程模型构建二级索引：

(1)使用read.parquet加载数据信息并创建parquetRDD；

(2)使用parquetRDD并行在每个分区调用geoHash算法的API，将parquetRDD转换成mapPartitionRDD(Rowkey,GeoHashCode)，数据类型是key-value对形式的(String,String)；

(3)给partitionBy算子传入RangePartitioner，来给RDD重新分区，该过程数据类型不变；其中RangePartitioner是Partitioner的实现类；

(4)通过该算子访问各自分区的所有空间对象，然后并行创建索引。

2.如权利要求1所述的大规模空间数据环境下基于二级索引的通用查询方法，其特征在于，在Spark框架下，利用二级索引对HBase非行键空间数据的范围查询算法：

给定一个空间对象集合S，再给定一查询点P＝(Lng,Lat)和查询半径d，在集合S中存在集合R＝{R₁,R₂...R_i}与查询点P距离小于d，记为RQ(P,S)：

范围查询算法使用两阶段处理策略，第一阶段是索引的筛选，首先需要计算出查询目标大致所在的GeoHash单元网格，称作MBR，通过查找RDD中的索引表单元筛选出所有MBR 作为候选集，第二阶段是遍历求精，通过二次计算与查询点的距离从候选集中求得满足查询要求的最终结果；将构建的索引转为RDD的形式被存储到内存中，在进行范围查询的时候，利用Spark的转化操作算子mapPartitions并行执行查询任务。

3.如权利要求2所述的大规模空间数据环境下基于二级索引的通用查询方法，其特征在于，在空间二级索引的支持下，基于Spark的范围查询的详细过程如下：已知查询点p的空间位置信息和查询范围d；首先，调用geo对象的getGeoCode方法，此方法封装了以给p为圆心，d为半径画圆，返回落在圆内和与圆相交的编码区域，得到结果集所在的GeoHash编码区域集合Kn；然后，子节点收到task任务后对空间索引RDD的分片进行检索，将检索结果并入结果集；最后，通过再次扫描筛掉结果集中实际距离大于查询范围d的数据，并返回最终结果。