[发明专利]大规模空间数据环境下基于二级索引的通用查询方法

说明书

大规模空间数据环境下基于二级索引的通用查询算法，属于数据查询领域，为了解决非行键属性实时范围查询的问题，框架由以下几部分组成：客户端、Spark计算模块、HBase数据处理模块；算法执行如下：在HBase数据处理模块和Spark计算模块的Schema基础上调用SparkContext提供的API建立HBase的原始数据的RDD，RDD经过不断转化形成二级索引存放在Spark Memory中，效果是提高了大规模空间数据范围查询的效率。

技术领域

本发明属于数据查询领域，涉及一种大规模空间数据环境下基于二级索引的通用查询方法。

背景技术

空间索引可以解决空间数据近邻查询问题，但是不能解决非行键属性实时范围查询的问题。而现有的二级索引的设计灵感来源于倒排的思想，将主数据表的键值对倒置。Solr是一个高性能的基于Lucene的企业级全文搜索服务器，Solr+HBase的二级索引方案是基于Solr集群搭建的搜索引擎来查找结构化数据，基于HBase搭建的数据存储云来存储海量数据。

发明内容

为了解决非行键属性实时范围查询的问题，本发明提出如下技术方案：一种大规模空间数据环境下基于二级索引的通用查询方法，框架由以下几部分组成：客户端、Spark计算模块、HBase数据处理模块；算法执行如下：在HBase数据处理模块和Spark计算模块的Schema基础上调用SparkContext提供的API建立HBase的原始数据的RDD，RDD经过不断转化形成二级索引存放在SparkMemory中；根据客户端的查询请求并行筛选二级索引模块，筛选出满足查询条件的Rowkey后从HBase中查询数据并返回结果给客户端。

进一步的，将倒排索引和GeoHash算法结合形成Inverted GeoHash索引，其模型为IG索引的模型，该模型的倒排GeoHash索引包含两部分：第一部分，是空间数据对象与其所在的GeoHash网格的映射；第二部分，是网格编码与存储在其中的所有数据对象的映射；利用GeoHash算法将地球划分成多个网格，对每个网格中的空间数据对象构建空间二级索引，通过每个网格的GeoHash编码反向索引其包含的空间对象的Rowkey，使用GeoHash算法和Base32编码对空间数据地理信息降维得到的一维字符串作为二级索引的key，每个空间数据在HBase表中的行键信息作为二级索引的value，GeoHash划分的矩形区域中，每一个区域都有固定的编码，同一个区域内的点编码都相同，通过改变GeoHash编码的长度改变矩形区域的覆盖范围。

进一步的，由Spark编程模型构建二级索引：

(1)使用read.parquet加载数据信息并创建parquetRDD；

(2)使用该算子并行在每个分区调用geoHash算法的API，将parquetRdd转换成mapPartitionRDD(Rowkey,GeoHashCode)，数据类型是key-value对形式的(String,String)；

(3)partitionBy算子。给partitionBy算子传入RangePartitioner，来给RDD重新分区，该过程数据类型不变；

(4)通过该算子访问各自分区的所有空间对象，然后并行创建索引。

进一步的，在Spark框架下，利用二级索引对HBase非行键空间数据的范围查询算法：

给定一个空间对象集合S，再给定一查询点P＝(Lng,Lat)和查询半径d，在集合S中存在集合R＝{R₁,R₂...R_i}与查询点P距离小于d，记为RQ(P,S)：