[发明专利]一种基于物化视图的Spark查询方法、装置及电子设备在审
| 申请号： | 202110470051.0 | 申请日： | 2021-04-28 |
| 公开（公告）号： | CN113297212A | 公开（公告）日： | 2021-08-24 |
| 发明（设计）人： | 袁孝锋 | 申请（专利权）人： | 上海淇玥信息技术有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22;G06F16/242;G06F16/2455 |
| 代理公司： | 北京清诚知识产权代理有限公司 11691 | 代理人： | 乔东峰 |
| 地址： | 201500 上海市崇明*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于物化视图的Spark查询方法、装置及电子设备，所述方法包括：接收查询语句；将所述查询语句解析为解析器引擎Catalyst中的逻辑计划Logical Plan；将所述Logical Plan与已注册的物化视图进行匹配；若所述Logical Plan能匹配到已注册的物化视图，改写所述Logical Plan；根据改写后的Logical Plan进行查询。本发明基于Spark架构，预先将物化视图注册到Spark内存中，通过物化视图预先计算并保存指定操作的预计算结果。在用户提交查询语句时，将查询语句解析为解析器引擎Catalyst中的Logical Plan；将所述Logical Plan与已注册的物化视图进行匹配；选出Logical Plan能匹配到的已注册物化视图改写所述Logical Plan；从而通过已注册物化视图的预计算结果来加速查询，提升数据访问效率。 | ||
| 搜索关键词： | 一种 基于 物化 视图 spark 查询 方法 装置 电子设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海淇玥信息技术有限公司，未经上海淇玥信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110470051.0/，转载请声明来源钻瓜专利网。
