[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质，涉及数据库技术领域。该方法包括：接收数据查询请求，并确定数据查询请求对应的目标数据表；从多个重分布索引中确定与目标数据表对应的目标索引；其中，重分布索引中的数据是基于重分布索引的索引列分布存储在分布式数据库中的；当针对数据查询请求的操作指向目标索引的索引列时，根据目标索引，对原始执行计划进行优化，生成目标执行计划；针对数据查询请求的操作包括单表聚合操作和/或多表关联操作；运行目标执行计划，得到数据查询请求对应的查询结果。本申请实施例实现了查询优化，减少了跨节点的数据交换操作，提高了数据处理的效率，提升整个分布式数据库的性能。

技术领域

本申请涉及数据库技术领域，具体而言，本申请涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着信息技术的发展，数据库得到了广泛的应用，数据的存储量与日俱增，用户对数据库中数据的查询需求也越来越复杂。这就需要针对数据库的查询进行优化，以保证数据库在处理大量复杂的查询请求时的查询效率和质量。

分布式HTAP(Hybrid Transactional Analytical Processing，混合事务和分析处理)数据库指的是同时具有OLTP(On-Line Transactional Processing，在线事务处理)和OLAP(On-Line Analytical Processing，在线数据分析)能力的分布式数据库。

目前，在分布式HTAP数据库中，数据只能按照表的主键进行分布，使得对于OLAP查询无法进行查询优化，在进行数据查询的过程中需要进行大量跨节点数据交换，数据处理效率较低，导致数据库性能下降。

发明内容

本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质，可以解决现有技术中分布式HTAP数据库对于OLAP查询无法进行查询优化、数据处理效率较低的问题。

所述技术方案如下：

根据本申请实施例的一个方面，提供了一种数据处理的方法，该方法包括：

接收数据查询请求，并确定所述数据查询请求对应的目标数据表；

从多个重分布索引中确定与所述目标数据表对应的目标索引；其中，所述重分布索引中的数据是基于所述重分布索引的索引列分布存储在分布式数据库中的；

当针对所述数据查询请求的操作指向所述目标索引的索引列时，根据所述目标索引，对原始执行计划进行优化，生成目标执行计划；

针对所述数据查询请求的操作包括单表聚合操作和/或多表关联操作；

运行所述目标执行计划，得到所述数据查询请求对应的查询结果。

可选地，所述方法还包括：

将待查询数据表中的至少一列作为索引列；

基于所述索引列，建立所述重分布索引；其中，所述重分布索引包含对应的待查询数据表的所有行和所有列，所述重分布索引包括多个数据桶，且所述数据桶包括的所有数据行的索引值相同；

确定所述重分布索引所属的同分布组；所述同分布组包括多个索引列数据分布相同的重分布索引。

可选地，所述同分布组中索引值相同的数据桶存储于同一数据库节点；所述同分布组中的索引值相同的数据桶在发生数据调度时作为一个整体进行迁移。

可选地，针对所述数据查询请求的操作包括单表聚合操作；

所述根据所述重分布索引，对原始执行计划进行优化，包括：

确定参与所述单表聚合操作的聚合数据表，并从所述多个重分布索引中确定与所述聚合数据表对应的第一索引；