[发明专利]一种基于大数据技术的空间数据存储处理中间件系统

权利要求书

1.一种基于大数据技术的空间数据存储处理中间件系统，其特征在于：其包括以下模块：

数据源模块101：空间大数据的数据源包括空间数据、互联网数据、日志流数据、本地数据文件、关系数据，上述数据源的数据格式包括GIS数据、文档数据、影像数据，上述数据以分散的方式存储在关系型数据库、空间数据库不同种类的数据库节点中；

ETL工具模块102：ETL工具将分散存储的各种格式的数据源进行提取、转换、加载；

其中，ETL工具包括实时数据转换工具、自定义数据转换工具、空间数据转换工具三类；

这三类工具分别将数据源中对应的数据提取出来，转换为统一的能读取的格式；

关系型数据使用Sqoop工具来进行存取，空间数据使用空间数据转换工具进行存取；

HDFS分布式文件系统模块103：ETL工具提取并转换的部分数据即文件上载数据将分布式存储在HDFS分布式文件系统中；

HBase分布式数据库模块104：ETL工具提取并转换的部分数据即空间数据、实时数据将分布式存储在HBase分布式数据库中；

数据关联RDF图数据库模块105：ETL工具提取转换数据源的数据并存储至分布式数据库的同时，将建立数据索引及语义目录，存储在数据关联图谱RDF里；

ZooKeeper协同服务模块106：协同管理分布式环境下的多个节点的HBaseregionserver的分布；

Ambari集群节点管理监控模块107：对分布式环境下集群中的节点进行可视化安装和监控。

2.如权利要求1所述的一种基于大数据技术的空间数据存储处理中间件系统，其特征在于: ETL工具模块102中的数据提取转换步骤为： MapGIS数据存储在MapGIS数据库中，通过MapGIS转换工具将MapGIS数据库中的MapGIS数据导进到HBase分布式数据库中，同时，也能将HBase的数据导进到MapGIS数据库中；

HDFS分布式文件系统模块103中的数据分布式存储步骤为：通过MapGIS Conversiontools for Hadoop工具将空间数据库中的MapGIS格式数据转换为Hadoop管理的文件格式MapGIS Conversion tools for Hadoop工具，将经过转换的MapGIS空间数据存储在分布式数据库HBase里，将上述工具提取MapGIS格式的地理范围、注记文本内容存储到内容库HBase中，注记文本内容的提取使得根据内容检索图件成为现实，区别于非矢量图件只能按文件名的检索方式，GIS图件信息成为内容库的组成部分，与成果资料内容一起，用于支撑着空间大数据数据挖掘。

3.如权利要求2所述的一种基于大数据技术的空间数据存储处理中间件系统，其特征在于: 数据关联RDF图数据库模块105中的数据关联RDF步骤：建立空间数据的索引及语义目录，存储在数据关联图谱RDF里；其中，实体和数据之间的关联是基于图谱的概念，数据关联图谱能将空间地理实体和大量结构化或非结构化数据关联起来。

4.如权利要求3所述的一种基于大数据技术的空间数据存储处理中间件系统，其特征在于:所述数据关联RDF的具体步骤包括：

语义关联树步骤301：在语义关联树中存储实体及其关系；在语义关联树中存储三元组数据，三元组记录了实体与实体之间的关系，以及实体资源所在的URL地址信息；

资源URI步骤302：步骤301的实体和步骤303的空间数据由资源URI相互连接，能互相访问；

HBase分布式存储步骤303：HBase是一个面向列、稀疏的、分布式的多维排序映射表，每个列族中的数据都存放在一起，在读写时有效降低I/O开销，并且类似的数据放在一起；

其中HBase分布式存储数据库是采用KeyValue的列存储，Rowkey是行的主键，表示唯一一行，表中记录按照Row Key排序；在此以数据档案URL为主键；所有数据都是通过Rowkey主键进行访问，一个宽行能容下一个主键相关的所有数据；

KeyValue是列的列名和列值组成的键值对，多个KeyValue组成一个Column-family列族；

Column-family列族，包含多个逻辑属性组的任意属性值，一个table在水平方向有一个或者多个列族，列族能由任意多个Column组成，列族支持动态扩展，无须预定义数量及类型，二进制存储，用户需自行进行类型转换；Column-family列族能尽量不丢失原始资料信息量，从而能真实的组织和描述数据；

以文件档案编号和名称为主键的表，其中包含档案报告的属性，从而形成分布式内容库。