[发明专利]数仓表处理方法和装置

说明书

本说明书实施例提供一种数仓表处理方法和装置，采用第一数仓表中第一表段的布隆索引对第二数仓表中与第一表段对应的第二表段进行过滤，能够在进行连接查询之前有效从第二数仓表中过滤掉与第一数仓表中的表数据不匹配的表数据，从而提高第一数仓表和第二数仓表的连接查询效率，节约连接查询时间。

技术领域

本说明书涉及数据处理技术领域，尤其涉及数仓表处理方法和装置。

背景技术

在离线数据清洗过程中经常面临着一个数仓表连接查询另一个数仓表的情况。为了便于表示，可以将作为连接查询基础的数仓表称为第一数仓表，将被连接查询的数仓表称为第二数仓表。在很多情况下，数仓表中的表数据较多，一个数仓表中的表数据往往可以达到几亿条，甚至几十亿条数据。在这种情况下，连接查询过程会小号大量资源，并且执行速度较慢。因此，有必要对数仓表的连接查询过程进行改进。

发明内容

基于此，本说明书提供了数仓表处理方法和装置。

根据本说明书实施例的第一方面，提供一种数仓表处理方法，所述方法包括：获取第一数仓表中第一表段的布隆索引；其中，所述布隆索引根据第一表段中各条表数据的连接表达式生成；获取第二数仓表中与所述第一表段对应的第二表段，并分别计算所述第二表段中各条表数据的连接表达式；其中，第一数仓表与第二数仓表的分段方式相同；在对第一数仓表和第二数仓表中匹配的表数据进行连接查询之前，根据所述第二表段对应的连接表达式和所述第一表段的布隆索引对所述第二表段中的表数据进行过滤，其中，匹配的表数据为连接表达式相同的表数据。

进一步地，所述方法还包括：根据所述第一数仓表中各条表数据的连接表达式分别对所述第一数仓表中的各条表数据进行分段。

进一步地，根据所述第一数仓表中各条表数据的连接表达式分别对所述第一数仓表中的各条表数据进行分段的步骤包括：获取所述第一数仓表中各条表数据的连接表达式之值的哈希值，并计算所述哈希值与表段总数的余数；根据所述余数分别对所述第一数仓表中的各条表数据进行分段。

进一步地，在获取第二数仓表中与所述第一表段对应的第二表段之前，所述方法还包括：根据所述第一数仓表中各条表数据的第一连接表达式生成所述第一数仓表的布隆索引；获取第二数仓表中各条表数据的连接表达式；根据所述第二数仓表对应的连接表达式和所述第一数仓表的布隆索引对所述第二数仓表中的表数据进行过滤。

进一步地，在将对应的表数据从所述第二表段中过滤掉之后，所述方法还包括：对所述第一数仓表和第二数仓表进行连接查询。

进一步地，在对所述第一数仓表和第二数仓表进行连接查询之前，所述方法还包括：将所述第一数仓表写入内存，若内存不足，将所述第一数仓表换出到磁盘；和/或将所述第二数仓表写入内存，若内存不足，将所述第二数仓表换出到磁盘。

进一步地，当所述连接为内连接或者左连接时，所述第一数仓表为做表，所述第二数仓表为右表；当所述连接为右连接时，所述第二数仓表为做表，所述第一数仓表为右表。

根据本说明书实施例的第二方面，提供一种数仓表处理装置，所述装置包括：获取模块，用于获取第一数仓表中第一表段的布隆索引；其中，所述布隆索引根据第一表段中各条表数据的连接表达式生成；计算模块，用于获取第二数仓表中与所述第一表段对应的第二表段，并分别计算所述第二表段中各条表数据的连接表达式；其中，第一数仓表与第二数仓表的分段方式相同；过滤模块，用于在对第一数仓表和第二数仓表中匹配的表数据进行连接查询之前，根据所述第二表段对应的连接表达式和所述第一表段的布隆索引对所述第二表段中的表数据进行过滤，其中，匹配的表数据为连接表达式相同的表数据。

根据本说明书实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。