[发明专利]一种大数据报表预存储计算方法

说明书

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据报表预存储计算方法。

背景技术

申请号为CN200710130000.3的发明专利申请公开了一种前置系统及一种数据集中处理系统，该前置系统，连接在一服务器和多个分散的客户端之间，所述客户端用于提供源数据以及接收数据处理结果，所述源数据包括A类数据和B类数据；所述服务器用于处理A类数据并返回A类数据处理结果，该前置系统包括：调度模块：用于将所述源数据中的B类数据发送至处理模块，将所述数据中的A类数据发送至服务器，以及，接收处理模块返回的B类数据处理结果和服务器返回的A类数据处理结果；处理模块：用于对所述B类数据进行解析处理，以及，向调度模块返回B类数据处理结果。本发明通过区分源数据的类别，并将不同类别的源数据分别集中在不同的模块进行处理，从而有效地提高了数据处理效率。

该技术主要面对服务器主机与各终端之间的数据交换及程序升级同步。本发明公开的技术，主要利用终端分散大数据报表的计算压力，缓存计算结果，两种技术存在很大差异。

发明内容

本发明的目的是为了克服现有技术的缺陷，提供一种大数据报表预存储计算方法，该方法通过分布式与结果缓存，将涉及到海量数据的报表计算过程，分散到各个子主机，利用计算过的结果，加快计算过程，达到减少中心主机负荷，提高报表的计算速度，具体流程如下：

s1.主服务器生成计算任务；

s2.根据计算任务的查询条件，查找缓存库中的计算结果；

s3.如果没有找到计算结果，则根据查询条件、数据库表名，将计算任务分割为若干个计算子任务，分配到各个终端；

s4.终端接收计算任务，首先查找是否有缓存结果，如有则直接发送给服务器，没有发现缓存，则开始独立计算结果，计算完毕后，发送给服务器；

s5.服务器接收终端发送过来的计算结果，整合；

s6.服务器将计算结果保存到数据库中；

s7.生成报表。

在本发明中，对多表的查询、计算，通过分割为子任务，实现分布式计算。将子任务分配给不同的机器，能够同时计算不同的数据。将不同的计算结果进行合并，形成最终结果。计算结果缓存在分布式终端及服务器，减少重复计算。

还能够通过定时计算查询频率高的数据，预先计算并保存，减少在线的并发计算工作量。

本发明技术方案带来的有益效果：

本发明技术方案通过分布式计算，能够大幅提高跨表的数据查询速度，通过缓存，减少重复计算。通过横向扩展终端，可以线性扩展系统性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的主要创新点在于将涉及多表查询、复合查询、查询条件多变、数据量大的数据查询，利用多终端分散计算、结果缓存技术，提高报表计算速度。

如图1所示为本发明的方法流程图，具体步骤如下：

1.主服务器生成计算任务；

2.根据计算任务的查询条件，查找缓存库中的计算结果；

3.如果没有找到计算结果，则根据查询条件、数据库表名，将计算任务分割为若干个计算子任务，分配到各个终端；

4.终端接收计算任务，首先查找是否有缓存结果，如有则直接发送给服务器，没有发现缓存，则开始独立计算结果，计算完毕后，发送给服务器；

5.服务器接收终端发送过来的计算结果，整合；

6.服务器将计算结果保存到数据库中；

7.生成报表。

本发明通过分布式与结果缓存，将涉及到海量数据的报表计算过程，分散到各个子主机，利用计算过的结果，加快计算过程，达到减少中心主机负荷，提高报表的计算速度。

例如，要查询138xxxxxx31号码第3季度支出分类详细报表，该报表涉及到跨24个子表，每种支出对应一种表，每种表跨月分割，合计8x3＝24.