[发明专利]基于预计算的加速查询方法、存储介质有效
申请号: | 201810346821.9 | 申请日: | 2018-04-18 |
公开(公告)号: | CN110399395B | 公开(公告)日: | 2022-04-01 |
发明(设计)人: | 刘德建;石顺中;章亮;陈霖;郭玉湖 | 申请(专利权)人: | 福建天泉教育科技有限公司 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2455 |
代理公司: | 福州市博深专利事务所(普通合伙) 35214 | 代理人: | 林志峥 |
地址: | 350212 福建省福州市长乐*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 预计 加速 查询 方法 存储 介质 | ||
本发明提供一种基于预计算的加速查询方法、存储介质,方法包括:依据常用查询语句创建预计算语句;获取各预计算语句相应的结果集,并建立各预计算语言与相应结果集的对应关系表;存储各预计算语句以及所述对应关系表至预计算数据库;接收对应一查询语句的查询请求;通过对比语句的各个部分,判断所述一查询语句是否能从一预计算语句中直接或间接获取,若能,则依据所述对应关系表从原始数据仓库中定位所述一预计算语句对应的结果集,并依据所述结果集获取所述一查询语句所需的结果。本发明的查询方式能显著加速查询结果,提高查询效率;同时还具备良好的通用性和灵活性。
技术领域
本发明涉及数据管理和应用领域,具体说的是一种基于预计算的加速查询方法、存储介质。
背景技术
在数据的管理与应用过程中,数据的高效查询成为了企业必不可少的日常工作。在这数据量爆炸性增长的当今社会,已有的数据查询技术随着数据量的增大其系统性能将逐渐降低。为了保证业务数据正常查询能力的不变,则需要加大对硬件设备的投入,由此造成维护数据等相关成本不断增加。若能有效地在现有硬件基础之上加速数据的查询,则能有效降低企业的硬件成本、减少查询数据的等待时间。
查询语句的包含关系以及等价性判断一直都是业界存在争议的重要议题。现有的加速查询方式一般使用查询语句优化、缓存、分表分库、预计算和分布式处理等方式。在面对大数据量的复杂查询时,其查询压力依然很严重,当用户多次对数据库进行实时访问时,将导致系统难以在合理的时间内返回查询结果,随着数据量的增大,系统需要处理的时间也就线性增大。
具体而言,现有的加速查询方式存在以下不足:
1、现有的预计算查询方式通用性差。如用户直接对原始数据库进行查询,则查询原始数据所需时间过大,若用户针对预计算报表进行查询,则无法做到报表对分析人员透明,即对原始数据库的查询无法转化为对报表的查询。
2、现有的命中缓存方式存在缺陷,新查询只能与预计算的查询语句相同才可命中,而缺乏查询预计算查询语句子集的功能,无法从原先的缓存中的结果集中获取所需结果。
3、分库分表方式缺乏灵活性。分库分表需在创建数据库或者创建表时定义,无法根据实际情况进行调整,特别是当数据量增大时,这类的加速数据库查询的方式满足不了需求。
再比如公开号为CN101110074,名称为《基于文件系统缓存的数据加速查询方法》的现有技术,通过将历史查询数据保存,利用历史查询数据作为查询缓存数据,进行加速查询。具体的,在系统接收用户查询请求之后,先转到查询分析器,查询分析器的主要作用是分析查询条件,规划查询条件等,然后经过文件缓冲器,分析现有的结果数据文件中是否存在满足当前查询需求,没有则从数据库中进行查询,并将最终的结果文件返回给数据处理器,数据处理器按照最终的查询要求,对数据进行过滤、排序等处理,将结果文件返回上层应用系统。
上述公开的方案是对分析人员的历史查询语句及其结果进行缓存,首次查询无法加速;同时,还需要对结果集合进行判断合并以及对查询条件进行排序,过程复杂;进一步的,其所有的数据都是直接缓存在数据库中,给数据库加重负担的同时,查询效率也将响应降低;更重要的是,其是从若干个子集中判断用户传入的查询语句是否全部或者部分命中,如果是部分命中,则会计算没有命中的部分,其分析方式还不够完善,分析效率也还有提升空间。
因此,有必要提供一种有别于现有技术的预查询方式,同时能很好的解决上述提取的所有问题的的预查询方法。
发明内容
本发明所要解决的技术问题是:提供一种基于预计算的加速查询方法、存储介质,能够显著提高查询效率,同时具备较高通用性和灵活性。
为了解决上述技术问题,本发明采用的技术方案为:
一种基于预计算的加速查询方法,包括:
依据常用查询语句创建预计算语句;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于福建天泉教育科技有限公司,未经福建天泉教育科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810346821.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:计算节点的数据遍历方法、装置及计算节点
- 下一篇:高效的数据处理