[发明专利]一种海量数据查询缓存的方法及装置在审
| 申请号: | 202211262478.2 | 申请日: | 2022-10-14 | 
| 公开(公告)号: | CN115510109A | 公开(公告)日: | 2022-12-23 | 
| 发明(设计)人: | 亢瑞卿;李达;张伟祺;王硕;李亚亚;李小波;亢志邦 | 申请(专利权)人: | 北京开运联合信息技术集团股份有限公司 | 
| 主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/2453 | 
| 代理公司: | 南京华恒专利代理事务所(普通合伙) 32335 | 代理人: | 裴素艳 | 
| 地址: | 101100 北京市通州区中关村科*** | 国省代码: | 北京;11 | 
| 权利要求书: | 查看更多 | 说明书: | 查看更多 | 
| 摘要: | |||
| 搜索关键词: | 一种 海量 数据 查询 缓存 方法 装置 | ||
1.一种海量数据查询缓存的方法,其特征在于,包括以下步骤:
步骤S1、在云端服务器模块中搭建多个计算机节点,其中多个计算机节点包括一个主控节点和多个从属节点,且每个计算机节点都建立有数据库表;
步骤S2、用户根据自身需求,并结合步骤S1中数据库表中的参数,通过查询收集模块实现周期性个性化查询参数的收集;
步骤S3、通过手动或自动筛选的方法,根据用户提前设置的配置权重限制,由查询调节模块确定不同的组合查询条件,并将相关变量保存在数据库表中;
步骤S4、用户通过个性化配置模块设置定时任务;
步骤S5、查询缓存组件收到步骤S4中定时任务的指令,查询执行组件定时任务发送给不同的计算机节点,最后每个从属节点的查询结果汇总到主控节点;
步骤S6、查询结果缓存组件将步骤S5中所查询的结果利用服务器闲时资源,将其生成查询缓存数据集并保存;
步骤S7、数据报表生成模块将步骤S6中查询缓存数据集根据用户设置的展示格式,生成相应的个性化报表。
2.根据权利要求1所述的一种海量数据查询缓存的方法,其特征在于:所述步骤S2中查询收集模块在使用前,需要用户提前设置查询条件,在查询收集模块使用时,无需用户或人工进行参与。
3.根据权利要求1所述的一种海量数据查询缓存的方法,其特征在于:所述步骤S3中确定不同的组合查询条件,是由查询调节模块通过人工手动增加或删除单个或多个组合查询条件,实现查询条件的弹性配置,无需修改程序,其中组合查询条件为提前设置的。
4.根据权利要求1所述的一种海量数据查询缓存的方法,其特征在于:所述步骤S5中查询执行组件利用RMI方法送将定时任务发送给不同的计算机节点。
5.根据权利要求1所述的一种海量数据查询缓存的方法,其特征在于:所述步骤S5中的查询缓存组件和步骤S6中的查询结果缓存组件利用服务器闲时时间进行运行,其中查询缓存组件和查询缓存组件用户可自行设置具体的执行时间,无需重启服务器,减少运维工作量。
6.根据权利要求1所述的一种海量数据查询缓存的方法,其特征在于:所述步骤S5中查询缓存组件查询缓存采用接口模式,适应大多数查询的功能需求,提高代码复用率。
7.一种海量数据查询缓存的装置,其特征在于,该装置包括:云端服务器模块、查询收集模块、查询调节模块、个性化配置模块、查询缓存组件、查询结果缓存组件和数据报表生成模块,所述云端服务器模块用于搭建计算机节点集群,集群包括一个主控节点和若干个从属节点;
所述查询收集模块基于数据库表中的参数,实现周期性个性化查询参数的收集;
所述查询调节模块用于通过手动或自动筛选的方法,根据用户自行设置的配置权重限制,确定不同的组合查询条件,并将相关变量保存在数据库表中;
所述个性化配置模块用户根据用户的需要,使用定时任务中间件设置定时任务;
所述查询缓存组件用于将定时任务发送给不同的计算机节点,每个从属节点的查询结果汇总到主控节点;
所述查询结果缓存组件用于利用服务器闲时资源,将查询的结果生成查询缓存数据集并保存;
所述数据报表生成模块用于将查询缓存数据集根据用户设置的展示格式,生成相应的个性化报表。
8.根据权利要求7所述的一种海量数据查询缓存的装置,其特征在于:所述云端服务器模块包含查询分派单元和查询合并单元,所述查询分派单元将定时任务分派到各个节点进行查询,所述查询合并单元将各个节点的查询结果进行合并。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京开运联合信息技术集团股份有限公司,未经北京开运联合信息技术集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211262478.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





