[发明专利]在Hive中连接运算的转化方法及装置

说明书

本发明涉及数据处理领域，具体涉及一种在Hive中连接运算的转化方法及装置，所述方法包括步骤：在需要对第一表与第二表的连接运算进行转化时，判断所述连接运算的关联字段是否为其中一个表的主键字段；当所述连接运算的关联字段为其中一个表的主键字段时，从已联合所有第一表与第二表的字段记录中对预设字段作分析函数运算以获取中间表字段记录；根据第一表与第二表的连接运算类型及连接条件设定相应的查询条件从所述中间表字段记录获取第一表与第二表的连接运算结果。利用分析函数巧妙地规避连接运算，以此避免连接运算效率低下的问题，提高数据库查询效率，降低终端运算压力。

【技术领域】

本发明涉及数据处理领域，具体涉及一种在Hive中连接运算的转化方法及装置。

【背景技术】

结构化查询语言(Structured Query Language)简称SQL，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理数据库系统。在数据库查询中，往往涉及JOIN运算，JOIN是SQL中的连接查询，连接查询是数据库中最主要的查询之一，连接查询包括内连接、外连接和交叉连接等，通过连接运算符可以实现多个表查询。

在大数据时代，在进行大数据计算时，基于Hadoop(一个由Apache基金会所开发的分布式系统基础架构)的数据仓库工具Hive将结构化的数据文件映射为一张张数据库表，并将SQL语句转化为任务在Hadoop上运行；在大数据计算时，涉及大量的连接查询，但由于连接运算的效率比较低，尤其随着数据量的增长，连接运算的效率更是越来越低，无法满足数据量巨大的大数据运算所需的高效率要求。

【发明内容】

本发明的目的在于提供一种在Hive中连接运算的转化方法及装置，将进行数据库操作时的连接运算转化为非连接运算，以此提高数据库查询效率。

为实现该目的，本发明采用如下技术方案：

第一方面，本发明的一个实施例提供了一种在Hive中连接运算的转化方法，包括如下步骤：

在需要对第一表与第二表的连接运算进行转化时，判断所述连接运算的关联字段是否为其中一个表的主键字段；

当所述关联字段为其中一个表的主键字段时，从已联合所有第一表与第二表的字段记录中对预设字段作分析函数运算，以获取对应的中间表字段记录；

依据第一表与第二表的连接运算类型及原连接运算的连接条件设定相应的查询条件，从所述中间表字段记录获取第一表与第二表的连接运算结果。

进一步的，所述方法还包括，当所述关联字段同为两个表的主键字段时，从已联合所有第一表与第二表的字段记录中对预设字段作聚合函数运算，以获取对应的中间表字段记录。

具体的，所述连接运算类型包括内连接及外连接，所述外连接包括左外连接和右外连接。

具体的，当所述关联字段为其中一表的主键字段且所述连接运算类型为内连接时，所述从已联合所有第一表与第二表的字段记录中对预设字段作分析函数运算，以获取对应的中间表字段记录的步骤，包括：

联合所有为第一表与第二表添加标志位字段后的所有字段记录，所述预设字段包括第二表的非主键字段及所述标志位字段；

根据连接条件选取预设的分析函数对第二表的非主键字段作分析函数运算得到第一字段记录、以及对所述标志位字段作分析函数运算得到第二字段记录；

输出包含第一字段记录和第二字段记录的中间表字段记录；

当所述关联字段为其中一个表的主键字段且所述连接运算类型为外连接时，定义左外连接的左表为主表及右表为副表，或右外连接的右表为主表及左表为副表，所述从已联合所有第一表与第二表的字段记录中对预设字段作分析函数运算以获取对应的中间表字段记录的步骤，包括：