[发明专利]一种海量数据查询缓存的方法及装置

说明书

本发明涉及数据查询相关领域，具体为一种海量数据查询缓存的方法及装置，本发明实通过设置云端服务器模块，实现了存储的分布式，解决了当处理海量数据时单机系统遇到的存储瓶颈和管理困难的问题，同时，如果数据规模继续扩大，只需要增加集群的从属节点，具有良好的可扩展性；通过查询调节模块将不同的组合查询条件预组织，组织完成后分别按单位缓存到数据库表，在用户查询数据时，根据用户特定的展示格式形成报表的方法，解决了传统方法查询速度慢、多用户并发服务器压力大等问题；在解决海量数据查询的问题时，查询执行组件利用了RMI技术，将查询进行了分割，使得集群的各个节点可以同时处理所得到的分割查询，使得查询速度更快。

技术领域

本发明涉及数据查询相关领域，具体为一种海量数据查询缓存的方法及装置。

背景技术

当今信息化社会，大部分单位，都有自己的信息化软件系统，这些单位经常会需要展示报表数据，这些报表数据往往数据来源多，数据组织逻辑过程复杂，个性化展示要求强。

在软件系统中，传统的方法是通过将单位数据按照不同的查询条件进行逻辑处理，处理完成后保存到数据库表，在用户查询数据时，根据用户特定的展示格式形成报表。但是，这种方法有一个明显的缺点，那就是查询速度慢、多用户并发服务器压力大，无法做到实时查询，即时展示。尤其当系统中存在海量数据时，这种方法导致的效率瓶颈问题突出，大大限制了程序的易用性和用户的满意度。故如何处理传统方法查询速度慢、多用户并发服务器压力大，实现实时查询，即时展示，达到查询结果快速、个性化展示的效果是目前现有技术中急需解决的技术问题。

专利号为CN103970902B的专利文献公开了一种大量数据情况下的可靠即时检索方法，包括以下步骤：S1：存储数据库配置信息；S2：接受检索内容；S3：将检索目标内容进行数据切分，形成切片数据；S4：根据数据库配置信息的映射关系对切片数据进行查询解析，并计算切片数据的存储位置；S5：将查询解析后的信息分发至数据库配置信息中对应的数据存储数据库；S6：从对应的数据存储数据库提取需要检索的特征数据；S7：将提取的特征数据进行归并。但是该技术方案不能解决处理传统方法查询速度慢、多用户并发服务器压力大的问题，也不能实现实时查询，即时展示的效果。

发明内容

本发明的目的在于提供一种海量数据查询缓存的方法及装置，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种海量数据查询缓存的方法，包括以下步骤：

步骤S1、在云端服务器模块中搭建多个计算机节点，其中多个计算机节点包括一个主控节点和多个从属节点，且每个计算机节点都建立有数据库表；

步骤S2、用户根据自身需求，并结合步骤S1中数据库表中的参数，通过查询收集模块实现周期性个性化查询参数的收集；

步骤S3、通过手动或自动筛选的方法，根据用户提前设置的配置权重限制，由查询调节模块确定不同的组合查询条件，并将相关变量保存在数据库表中；

步骤S4、用户通过个性化配置模块设置定时任务；

步骤S5、查询缓存组件收到步骤S4中定时任务的指令，查询执行组件定时任务发送给不同的计算机节点，最后每个从属节点的查询结果汇总到主控节点；

步骤S6、查询结果缓存组件将步骤S5中所查询的结果利用服务器闲时资源，将其生成查询缓存数据集并保存；

步骤S7、数据报表生成模块将步骤S6中查询缓存数据集根据用户设置的展示格式，生成相应的个性化报表。

优选的，所述步骤S2中查询收集模块在使用前，需要用户提前设置查询条件，在查询收集模块使用时，无需用户或人工进行参与。

优选的，所述步骤S3中确定不同的组合查询条件，是由查询调节模块通过人工手动增加或删除单个或多个组合查询条件，实现查询条件的弹性配置，无需修改程序，其中组合查询条件为提前设置的。

优选的，所述步骤S5中查询执行组件利用RMI方法送将定时任务发送给不同的计算机节点。