[发明专利]支持多版本Hive表分区的数据加载、查询方法及电子装置

说明书

本发明提供的支持多版本Hive表分区的数据加载、查询方法及电子装置，包括获取每条数据的分区字段；根据分区字段与各分区字段值列表的匹配关系，将每条数据写入相应的Hive表分区内；若存入哈希分区或自动间隔分区时，分区字段不能与现有的值列表匹配，创建新的哈希分区或自动间隔分区并生成新版本；若数据存入列表分区或区间分区时，列表分区规则或区间分区规则发生改动并生成相应新版本时，写入相应的列表分区或区间分区。本发明能够面对海量数据的存储和查询提供更加高效的复杂分区机制，在保持历史数据分区规则不变的同时，以多版本技术支持对增量数据分区规则在线调整，避免无意义扫描和计算，节省大量时间，极大提高系统的可维护性和查询效率。

技术领域

本发明涉及数据管理和查询领域，尤其涉及一种支持多版本Hive表分区的数据加载、查询方法及电子装置。

背景技术

近年来互联网发展趋势是海量数据储存和处理能力高速增长。随着信息服务的日益深化，要求实现海量数据的长期和低成本储存，这也对运营商的数据储存管理能力提出了很高要求。在众多的开源数据存储平台中，Apache基金会的Hive引起了广泛关注。

Hive基于Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)与MapReduce计算引擎构建，作为一个数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce计算任务，实现了海量数据的加载转换、存储管理和查询功能。除了提供批量数据处理与分析外，Hive也被广泛的用作存储平台，与众多更高效的交互式查询引擎对接，例如Cloudrea公司开源的Impala、Facebook公司开源的Presto以及Apache Spark等查询引擎。很多商业公司都在构建基于Hive的海量数据管理系统来进行海量数据的存储和分析，通过业务数据分析结果指导商业运作。

面对海量的数据规模和快速的查询响应之间的矛盾，Hive利用分区机制在对数据的存放位置进行划分，将数据列的值作为目录分区来存放数据，查询时使用分区列进行条件过滤，只需根据列值直接扫描对应目录下的数据，不扫描其他不相关的分区，快速定位，提高查询效率。分动态和静态分区两种：分区技术可以均衡系统的整体I/O负载并改善查询性能。

然而，现有的Hive分区管理存在两个缺陷。首先是Hive仅支持简单的等值分区方法，无法处理哈希、区间等复杂数据划分的存储与查询场景，而这些复杂的分区规则在处理如时序数据、键值数据场景时非常必要。尽管可以在数据加载前对该数据做一些预处理，如增加一列哈希值作为分区列，但是需要用户显示指定哈希值作为查询条件，影响用户使用的透明性。其次，hive的分区规则无法进行动态调整，而实际的应用场景中，由于海量数据的分布规律是不断变化，同时业务分析需求也在不断变化，一成不变的分区规则在面对上述变化时，会产生数据偏斜与查询缓慢等问题，无法提供高效的数据存储与查询支持。

发明内容

为解决上述问题，本发明公开了一种支持多版本Hive表分区的数据加载、查询方法及电子装置，在现有Hive存储管理架构下，面对海量数据的存储和查询提供更加高效的复杂分区机制，从而避免了无关数据的无意义扫描和计算，可有效节省大量I/O时间。同时以多版本技术支持对增量数据的分区规则的在线调整，支持保留历史数据原有分区方式的同时，针对新到数据的变化在线调整分区方式，极大提高系统的可维护性和查询效率。

为达到上述目的，本发明的技术方案如下：

一种支持多版本Hive表分区的数据加载方法，其步骤包括：

1)获取每条数据的分区字段；

2)根据分区字段与当前版本各分区字段值列表的匹配关系，将每条数据写入相应的Hive表分区内；

其中，通过以下策略管理所述Hive表分区：