[发明专利]一种海量数据高效抽取平台

说明书

技术领域

本发明涉及大数据领域，具体涉及一种海量数据高效抽取平台。

背景技术

数据发展历程上出现过类似的术语有超大规模数据、海量数据等。“超大规模”一般表示对应GB(1GB＝1024MB)的数据，“海量”一般表示的是TB(1TB＝1024GB)级的数据，而现在的“大数据”则是PB(1PB＝1024TB)、EB(1EB＝1024PB)、甚至ZB(1ZB＝1024EB)级别以上的数据。2013年Gartner预测世界上存储的数据将达到1.2ZB，如果将这些数据刻录到 CD-R只读光盘上，并堆起来，其高度将是地球到月球距离的5倍。不同规模的背后隐含的是不同的技术问题或挑战性研究难题。

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在日新月异的IT业界，各个企业对大数据都有着自己不同的解读.但大家都普遍认为，大数据有着4“V”特征，即Volume(容量大)、Variety(种类多)、Velocity(速度快)和最重要的Value(价值密度低)：

(1)量大(Volume Big)。数据量级已从TB(210GB)发展至PB(210TB)乃至ZB(220PB)，可称海量、巨量乃至超量。

(2)多样化(Variable Type)。数据类型繁多，愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。

(3)快速化(Velocity Fast)。数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理；处理工具亦在快速演进，软件工程及人工智能等均可能介入。

(4)价值高和密度低(Value Highand Low Density)。以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；360°全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。

(5)复查Complexity：处理和分析的难度非常大。

现有技术中的数据抽取对数据系统资源的占用较大。

发明内容

本发明所要解决的技术问题是现有技术中的数据抽取对数据系统资源的占用较大，目的在于提供一种海量数据高效抽取平台，实现对数据源系统资源占用的最小化。

本发明通过下述技术方案实现：

一种海量数据高效抽取平台，包括Oracle数据库、Golden Gate、大数据平台、Tomcat 网页服务端，Golden Gate包括Trail File和Flat File，所述Trail File与Flat File链接，所述大数据平台包括MapReduce、Hbase、HDFS，所述MapReduce、Hbase、HDFS分别与Trail File 和Flat File进行信息交互，所述Golden Gate和大数据平台分别与Tomcat网页服务端进行信息交互；Oracle数据库为数据源，通过Golden Gate提取源数据并结合Tomcat网页服务端作为计算引擎，Hbase用于存储结构化数据。

进一步地，Oracle数据库、Golden Gate、大数据平台、Tomcat网页服务端采用的是分布式文件系统存储非结构化和半结构化的数据。

进一步地，所述大数据平台包括数据清洗模块、数据转换模块、数据存储模块。

基于一种海量数据高效抽取平台的一种海量数据高效抽取方法，包括，

步骤1，使用Golden Gate提取数据；利用Golden Gate解析Oracle的日志文件，提取出初始数据及发生变化的增量数据；

步骤2，用MapReduce并行计算引擎加快处理速度；使用Hadoop大数据平台的MapReduce 并行计算框架，来加速装载抽取出的数据；

步骤3，将数据装载进HBase；采用多节点并行写入，直接生成HBase数据的存储格式文件。

步骤3中采取批量导入的方法来装载数据。

步骤1中的增量数据包括插入数据、更新数据和删除数据。