[发明专利]一种基于大数据技术的空间数据存储处理中间件系统

说明书

本发明涉及一种基于大数据技术的空间数据存储处理中间件系统，该框架能提供给用户一种对现有多源异构的结构化数据与非结构化数据混合的数据内容进行快速获取的方法，并采用主流的大数据存取工具来提高分布式存储效率。本发明的基于大数据技术的空间数据存储处理中间件框架通过对多源异构空间数据进行提取、转换、加载，构建多样化碎片化非结构化数据分布式虚拟化存储框架，为后续的空间大数据分析、挖掘提供能直接读取的数据内容。

技术领域

本发明涉及一种一种基于大数据技术的空间数据存储处理中间件系统，该框架能提供给用户一种对现有多源异构的结构化数据与非结构化数据混合的数据内容进行快速获取的方法，并采用主流的大数据存取工具来提高分布式存储效率。

背景技术

空间数据是指用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息的数据，它能用来描述来自现实世界的目标，它具有定位、定性、时间和空间关系等特性。空间数据是一种用点、线、面以及实体等基本空间数据结构来表示人们赖以生存的自然世界的数据。

大数据（big data），指在能承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

Hadoop是一个开源的框架，能编写和运行分布式应用处理大规模数据。分布式计算如今已经应用领域很宽泛并且变化，但与众不同之处在于Hadoop: (1)方便:在一般商用机器构成的大型集群上，或者像亚马逊弹性计算云(EC2)等云计算服务上，Hadoop都能支持运行。(2)健壮:在一般商用硬件上运行，硬件易会出错，从而影响程序运行，但是Hadoop很好的避免的这类故障的发生。(3)可扩展:通过不断的增加计算节点能很方便的扩展Hadoop集群，因此也能更好的处理大规模数据集。(4)编写有效率的并行代码，在Hadoop上变得方便快捷。由于Hadoop的这些天然的优势，让它在编写分布式大型程序方面优势明显。无论是公司还是个人，都能用很廉价的PC搭建出属于自己的Hadoop集群，用于研究分布式并行计算。也正是因为这些特性，在学术界和企业界大家都很青睐 Hadoop。

HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。