[发明专利]基于SparkSQL的透明分区方法及装置有效
| 申请号： | 201910122512.8 | 申请日： | 2019-02-18 |
| 公开（公告）号： | CN109902101B | 公开（公告）日： | 2021-04-02 |
| 发明（设计）人： | 刘欣然;张鸿;吕雁飞;马秉楠;惠榛;徐庆;兰钢临 | 申请（专利权）人： | 国家计算机网络与信息安全管理中心 |
| 主分类号： | G06F16/2453 | 分类号： | G06F16/2453;G06F16/242 |
| 代理公司： | 工业和信息化部电子专利中心 11010 | 代理人： | 李勤媛 |
| 地址： | 100029*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于SparkSQL的透明分区方法及装置，所述方法包括：在建表语句提交后，获取用户在创建分区表时指定分区字段和采用的分区策略，通过SQL解析器确定透明分区并将透明分区信息进行保存；当用户通过SQL查询数据时，通过SQL解析生成逻辑执行计划；根据逻辑执行计划中的查询条件，并结合保存的透明分区信息计算出本次查询的数据分区，然后通过改写逻辑执行计划并生成优化后的物理执行计划；根据生成的物理执行计划的执行步骤划分出具体的任务，通过所述任务从所述数据分区中读取数据。 | ||
| 搜索关键词： | 基于 sparksql 透明 分区 方法 装置 | ||
【主权项】：
1.一种基于SparkSQL的透明分区方法，其特征在于，包括：在建表语句提交后，获取用户在创建分区表时指定分区字段和采用的分区策略，通过SQL解析器确定透明分区并将透明分区信息进行保存；当用户通过SQL查询数据时，通过SQL解析生成逻辑执行计划；根据逻辑执行计划中的查询条件，并结合保存的透明分区信息计算出本次查询的数据分区，然后通过改写逻辑执行计划并生成优化后的物理执行计划；根据生成的物理执行计划的执行步骤划分出具体的任务，通过所述任务从所述数据分区中读取数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国家计算机网络与信息安全管理中心，未经国家计算机网络与信息安全管理中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910122512.8/，转载请声明来源钻瓜专利网。
