[发明专利]基于Hudi的数据查询方法、装置、设备及存储介质

权利要求书

1.一种基于Hudi的数据查询方法，其特征在于，所述方法包括：

获取查询请求，解析所述查询请求得到各谓词字段；

判断各所述谓词字段是否均已建立ES索引、且各所述谓词字段的查询结果是否均存储在ES存储中；

若是，则根据各所述谓词字段的ES索引查询得到查询结果；

若否，根据各所述谓词字段查询预设Hudi表，得到查询结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在目标谓词字段的查询频率大于第一频率阈值时，建立所述目标谓词字段的ES索引，并基于所述目标谓词字段的ES索引，建立所述目标谓词字段与相应的主键字段和/或分区字段的二级索引；

在所述目标谓词字段的查询频率大于第二频率阈值时，将所述目标谓词字段的查询结果存储在所述ES存储中。

3.根据权利要求2所述的方法，其特征在于，所述根据各所述谓词字段查询预设Hudi表，得到查询结果，包括：

若各所述谓词字段中即不存在主键字段又不存在分区字段，则查询ES索引得到各所述谓词字段对应的主键字段和/或分区字段，得到目标主键字段和/或目标分区字段；

根据所述目标主键字段和/或所述目标分区字段查询预设Hudi表，得到查询结果。

4.根据权利要求1所述的方法，其特征在于，所述根据各所述谓词字段查询预设Hudi表，得到查询结果，包括：

若各所述谓词字段中仅存在分区字段，则根据各所述谓词字段的分区字段，对所述预设Hudi表进行分区过滤查询，得到查询结果；

若各所述谓词字段中仅存在主键字段，则根据各所述谓词字段的主键字段进行预设Hudi表扫描，得到查询结果；

若各所述谓词字段中同时存在主键字段与分区字段，则根据各所述谓词字段的分区字段查询预设Hudi表，得到对应的分区数据；并根据各所述谓词字段的主键字段，在所述对应的分区数据中进行主键过滤及布隆过滤，得到查询结果。

5.根据权利要求1-4任一所述的方法，其特征在于，所述预设Hudi表为存储在内存中的Hudi表快照，所述方法还包括：

每当源Hudi表中的元数据变更后，更新所述内存中的Hudi表快照。

6.根据权利要求1-4任一所述的方法，其特征在于，所述预设Hudi表为存储在内存中的Hudi表快照，所述方法还包括：

获取源Hudi表的版本号，检测所述源Hudi表的版本号与所述内存中的Hudi表快照的版本号是否相同，其中，当所述源Hudi表中的元数据变更后，所述源Hudi表的版本号相应变更；

若二者的版本号不同，则根据所述源Hudi表更新所述内存中的Hudi表快照。

7.一种基于Hudi的数据查询装置，其特征在于，所述装置包括：

谓词字段获取模块，用于获取查询请求，解析所述查询请求得到各谓词字段；

ES索引判断模块，用于判断各所述谓词字段是否均已建立ES索引、且各所述谓词字段的查询结果是否均存储在ES存储中；若是则运行ES表查询模块，若否则运行Hudi表查询模块；

ES表查询模块，用于根据各所述谓词字段的ES索引查询得到查询结果；

Hudi表查询模块，用于根据各所述谓词字段查询预设Hudi表，得到查询结果。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

二级索引建立模块，用于在目标谓词字段的查询频率大于第一频率阈值时，建立所述目标谓词字段的ES索引，并基于所述目标谓词字段的ES索引，建立所述目标谓词字段与相应的主键字段和/或分区字段的二级索引；

查询结果缓存模块，用于在所述目标谓词字段的查询频率大于第二频率阈值时，将所述目标谓词字段的查询结果存储在所述ES存储中。