[发明专利]数据处理方法、装置、电子设备及存储介质在审
申请号: | 202211262636.4 | 申请日: | 2022-10-14 |
公开(公告)号: | CN115422205A | 公开(公告)日: | 2022-12-02 |
发明(设计)人: | 孙若曦;徐飞;耿立琪;刘奇;黄东旭;崔秋 | 申请(专利权)人: | 平凯星辰(北京)科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/21;G06F16/2453;G06F16/27 |
代理公司: | 北京市立方律师事务所 11330 | 代理人: | 张筱宁 |
地址: | 100192 北京市海淀区西小口路*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
接收数据查询请求,并确定所述数据查询请求对应的目标数据表;
从多个重分布索引中确定与所述目标数据表对应的目标索引;其中,所述重分布索引中的数据是基于所述重分布索引的索引列分布存储在分布式数据库中的;
当针对所述数据查询请求的操作指向所述目标索引的索引列时,根据所述目标索引,对原始执行计划进行优化,生成目标执行计划;
针对所述数据查询请求的操作包括单表聚合操作和/或多表关联操作;
运行所述目标执行计划,得到所述数据查询请求对应的查询结果。
2.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
将待查询数据表中的至少一列作为索引列;
基于所述索引列,建立所述重分布索引;其中,所述重分布索引包含对应的待查询数据表的所有行和所有列,所述重分布索引包括多个数据桶,且所述数据桶包括的所有数据行的索引值相同;
确定所述重分布索引所属的同分布组;所述同分布组包括多个索引列数据分布相同的重分布索引。
3.根据权利要求2所述的数据处理方法,其特征在于,所述同分布组中索引值相同的数据桶存储于同一数据库节点;所述同分布组中的索引值相同的数据桶在发生数据调度时作为一个整体进行迁移。
4.根据权利要求1所述的数据处理方法,其特征在于,针对所述数据查询请求的操作包括单表聚合操作;
所述根据所述重分布索引,对原始执行计划进行优化,包括:
确定参与所述单表聚合操作的聚合数据表,并从所述多个重分布索引中确定与所述聚合数据表对应的第一索引;
若所述单表聚合操作所指定的分组列包含所述第一索引的索引列,则扫描第一索引,并删除所述原始执行计划中的跨节点数据交换算子。
5.根据权利要求1所述的数据处理方法,其特征在于,针对所述数据查询请求的操作包括多表关联操作;
所述根据所述重分布索引,对原始执行计划进行优化,包括:
确定参与所述多表关联操作的至少两个关联数据表,并从所述多个重分布索引中确定与所述关联数据表对应的第二索引;
若所述多表关联操作所指定的关联列包含每一第二索引的索引列,且每一第二索引所属同一个同分布组,则扫描每一第二索引,并删除所述原始执行计划中的跨节点数据交换算子。
6.根据权利要求5所述的数据处理方法,其特征在于,所述方法还包括:
若至少存在一个满足预设条件的第一关联数据表,且至少存在一个不满足预设条件的第二关联数据表,则扫描所述第一关联数据表对应的重分布索引,消除所述第一关联数据表对应的跨节点数据交换算子,并扫描所述第二关联数据表,保留所述第二关联数据表对应的跨节点数据交换算子;
其中,所述预设条件为所述关联数据表存在与其对应的重分布索引,且所述多表关联操作所指定的关联列包含所述关联数据表对应的重分布索引的索引列。
7.根据权利要求1至6中任一项所述的数据处理方法,其特征在于,所述方法还包括:
当所述分布式数据库中发生数据调度时,维持所述多个重分布索引不变;
当所述分布式数据库中数据调度结束时,更新所述多个重分布索引。
8.一种数据处理装置,其特征在于,包括:
目标数据表确定模块,用于接收数据查询请求,并确定所述数据查询请求对应的目标数据表;
目标索引确定模块,用于从多个重分布索引中确定与所述目标数据表对应的目标索引;其中,所述重分布索引中的数据是基于所述重分布索引的索引列分布存储在分布式数据库中的;
优化模块,用于当针对所述数据查询请求的操作指向所述目标索引的索引列时,根据所述目标索引,对原始执行计划进行优化,生成目标执行计划;针对所述数据查询请求的操作包括单表聚合操作和/或多表关联操作;
执行模块,用于运行所述目标执行计划,得到所述数据查询请求对应的查询结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平凯星辰(北京)科技有限公司,未经平凯星辰(北京)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211262636.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种陆上碎石桩加气辅助施工方法
- 下一篇:一种机器人的移动装置