[发明专利]一种基于数据仓库工具HIVE分区存储使用和分析数据的方法及系统

说明书

本发明公开了一种基于数据仓库工具HIVE分区存储数据的方法，方法包括：在数据仓库中建立多个存储分区和HIVE分区表，其中HIVE分区表中的每条记录用于指示多个存储分区中的每个存储分区，根据不同时间段设定存储分区标识字段；对HIVE分区表中的原始数据进行分析，并将原始数据和分析结果数据分别存储到对应分区字段的分区表中；以及在分区表目录下产生分区字段目录，读取对应分区字段目录下的文件分析全局性数据。本发明基于数据仓库工具HIVE分区存储使用和分析数据的方法针对分区存储处理数据，可以对不同时间段的数据进行后续分析，并且可以同时存储不同时间段的数据，保证原始数据不被覆盖，提高了运算速度以及数据处理效率。

技术领域

本发明涉及大数据处理领域，更具体地，涉及一种基于HIVE分区存储使用和分析数据的方法及系统。

背景技术

随着时间的推移，计算机技术越发成熟，对数据存储和分析的模式更是层出不穷。在大数据时代的背景下，处理的数据都以T级PB级来进行计算，传统的技术对处理这样数量级的数据已经渐渐力不从心，应运而生的就是大数据的存储与分析新技术。

现有的大数据处理模式基本都是在HDFS上存储数据，使用HIVE分析数据，这种数据存储分析模式为两种处理方式，第一种：全量处理，就是把所有数据同时放到HDFS上使用HIVE进行处理。第一种的处理方式因为涉及数据量大，因而处理速度很低。第二种：分时间段处理，就是把数据根据时间段一次处理一段时间的数据。第二种数据处理方式避免了第一种的速度慢，但是一次处理一部分的数据，下次导入数据时会覆盖之前的数据，因为原数据被覆盖，所以第二种处理数据的方式不可能实现跨时间段的数据处理。

因此，需要一种技术，提高大数据处理速度，以及实现跨时间段的全局性的数据处理。

发明内容

本发明提供了一种基于HIVE分区存储使用和分析数据的方法及系统，以解决大数据处理速度慢，以及不能实现跨时间段的全局性的数据处理的问题。

为了解决上述问题，本发明提供了一种基于数据仓库工具HIVE分区存储数据的方法，所述方法包括：

在数据仓库中建立多个存储分区和HIVE分区表，其中HIVE分区表中的每条记录用于指示多个存储分区中的每个存储分区，根据不同时间段设定存储分区标识字段；

对所述HIVE分区表中的原始数据进行分析，并将原始数据和分析结果数据分别存储到对应分区字段的分区表中；以及

在分区表目录下产生分区字段目录，读取对应分区字段目录下的文件分析全局性数据。

优选地，对所述HIVE分区表中的原始数据进行分析包括：

根据不同的设定时间段，对所述分区表中的数据进行分析。

优选地，所述时间段为月。

优选地，所述HIVE分区表基于分布式文件系统HDFS数据建立。

优选地，所述读取对应分区字段目录下的文件分析全局性数据包括：

利用分析工具SPARKSQL读取对应分区字段目录下的文件分析全局性数据。

基于本发明的另一方面，本发明提供一种基于数据仓库工具HIVE分区存储使用和分析数据的系统，所述系统包括：

分区模块，用于在数据仓库中建立多个存储分区和HIVE分区表，其中HIVE分区表中的每条记录用于指示多个存储分区中的每个存储分区，根据不同时间段设定存储分区标识字段；

存储模块，用于对所述HIVE分区表中的原始数据进行分析，并将原始数据和分析结果数据分别存储到对应分区字段的分区表中；以及

分析模块，用于在分区表目录下产生分区字段目录，读取对应分区字段目录下的文件分析全局性数据。