[发明专利]分布式查询引擎及其查询关系型数据库的方法在审
| 申请号： | 202010242001.2 | 申请日： | 2020-03-30 |
| 公开（公告）号： | CN111427931A | 公开（公告）日： | 2020-07-17 |
| 发明（设计）人： | 林镇锋;易文峰;石刚;杨赛;杜祺;罗珍明;陈佳山;梁培 | 申请（专利权）人： | 深圳市康拓普信息技术有限公司 |
| 主分类号： | G06F16/2458 | 分类号： | G06F16/2458;G06F16/28;G06F16/22 |
| 代理公司： | 深圳市顺天达专利商标代理有限公司 44217 | 代理人： | 郭伟刚 |
| 地址： | 518000 广东省深圳市南山区沙河街道高*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 分布式 查询 引擎 及其 关系 数据库 方法 | ||
1.一种分布式查询引擎查询关系型数据库的方法，其特征在于，所述分布式查询引擎查询关系型数据库的方法包括：
分布式查询引擎获取待查询数据表所属的关系型数据库的元数据；
根据所述元数据确定分片方式；
基于所述分片方式以及目标分片数N，将所述待查询数据表中的表数据拆分为N个分片块，其中，N为正整数，每个分片块之间的表数据数量差小于或等于预设阈值；
将所述N个分片块从所述关系型数据库中并行加载到所述分布式查询引擎中进行计算。
2.如权利要求1所述的分布式查询引擎查询关系型数据库的方法，其特征在于，所述根据元数据确定分片方式包括：
检测所述元数据中是否包含所述待查询数据表的表分区字段；
若所述元数据中包含所述待查询数据表的表分区字段，则获取所述表分区字段，并确定分片方式为基于表分区字段的分片方式。
3.如权利要求1所述的分布式查询引擎查询关系型数据库的方法，其特征在于，所述根据元数据确定分片方式还包括：
获取所述元数据中包含的所述待查询数据表的表主键字段的生成方式；
当所述生成方式为序列自增时，确定分片方式为基于表主键字段的分片方式。
4.如权利要求1所述的分布式查询引擎查询关系型数据库的方法，其特征在于，所述将所述N个分片块从所述关系型数据库中并行加载到所述分布式查询引擎中进行计算包括：
基于过滤条件对所述N个分片块进行数据过滤处理；
将经过数据过滤处理后的N个分片块从所述关系型数据库中并行加载到所述分布式查询引擎中进行计算。
5.如权利要求1至4中任一项所述的分布式查询引擎查询关系型数据库的方法，其特征在于，在所述分布式查询引擎获取待查询数据表所属的关系型数据库的元数据之前，还包括：
分布式查询引擎获取关系型数据库的元数据，并存储至本地。
6.一种分布式查询引擎，其特征在于，所述分布式查询引擎包括：
获取模块，用于获取待查询数据表所属的关系型数据库的元数据；
确定模块，用于根据所述元数据确定分片方式；
分片模块，用于基于所述分片方式以及目标分片数N，将所述待查询数据表中的表数据拆分为N个分片块，其中，N为正整数，每个分片块之间的表数据数量差小于或等于预设阈值；
计算模块，用于将所述N个分片块从所述关系型数据库中并行加载到所述分布式查询引擎中进行计算。
7.如权利要求6所述的分布式查询引擎，其特征在于，所述确定模块用于：
检测所述元数据中是否包含所述待查询数据表的表分区字段；
若所述元数据中包含所述待查询数据表的表分区字段，则获取所述表分区字段，并确定分片方式为基于表分区字段的分片方式。
8.如权利要求6所述的分布式查询引擎，其特征在于，所述确定模块还用于：
获取所述元数据中包含的所述待查询数据表的表主键字段的生成方式；
当所述生成方式为序列自增时，确定分片方式为基于表主键字段的分片方式。
9.如权利要求6所述的分布式查询引擎，其特征在于，所述计算模块用于：
基于过滤条件对所述N个分片块进行数据过滤处理；
将经过数据过滤处理后的N个分片块从所述关系型数据库中并行加载到所述分布式查询引擎中进行计算。
10.如权利要求6至9中任一项所述的分布式查询引擎，其特征在于，所述获取模块还用于：
获取关系型数据库的元数据，并存储至本地。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳市康拓普信息技术有限公司，未经深圳市康拓普信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202010242001.2/1.html，转载请声明来源钻瓜专利网。
