[发明专利]基于SQL的并行计算系统及方法

说明书

技术领域

本发明涉及一种数据库的查询或统计方法，特别涉及一种基于SQL的并行计算系统及方法。

背景技术

随着计算机技术的发展和普及，大型数据库迅速地进入到电信、金融等各个行业。SQL(Structured Query Language，结构化查询语言)是专为数据库而建立的操作命令集，是一种数据库语言。SQL的主要功能就是同各种数据库建立联系，使不同类型的数据库之间进行沟通。按照ANSI(美国国家标准协会)的规定，SQL被作为关系型数据库管理系统的标准语言。在使用SQL时，只需要发出“做什么”的命令，而不需要考虑“怎么做”。SQL语句可以用来执行对数据库的各种各样的操作，例如更新数据库中的数据，从数据库中提取数据等。目前，绝大多数流行的关系型数据库管理系统，如Qracle，Sybase，Microsoft Sql Server，Access等都采用了SQL语言标准。

然而，随着信息化建设的深入，各行各业都建立了大量的数据库，而这些数据库的数据量也越来越大，限制了对数据库的查询和统计速度。例如在计费系统中，各种业务程序需要对数据库中的数据进行频繁的查询操作，涉及的数据量非常巨大，访问数据库的频率很高，由此过多的数据库交互导致计算机程序的性能降低。

为了提高数据库的查询和统计速度，最常用的方式是对硬件系统进行优化，例如中国专利局申请号为200610041548.6的专利申请，其提出了一种加速数据库查询速度的方法，如图1所示，其通过在系统内存中开辟用于存放数据和数据索引的共享内存段，由守护进程按约定的方式将数据库中的数据和数据索引分别调入相应的共享内存段中供务业进程调用，同时由守护进程定时或循环对数据库中的记录进行查询，及时将更接的数据内容记录到上述共享内存段中。

这种加速数据库查询速度的方法可以在一定程度上提高数据库的查询速度，减少对数据库性能的依赖。但是对于海量数据库的查询或统计来说，由于硬件运算速度的限制，这种方法并不能从根本上解决数据库查询速度慢的问题，而计算机性能的提升，如提高CPU频率、增加内存、提高磁盘访问速度等，其提升空间有限，且硬件性能的升级需要投入大量的资金成本。因而如何行之有效地解决大型数据库查询或统计的速率问题，一直是一个需要解决的问题。

发明内容

本发明的目的是提供一种基于SQL的并行计算系统，以解决大型数据库的查询或统计速度慢的问题。

本发明的另一目的是提供一种基于SQL的并行计算方法，以解决大型数据库的查询或统计速度慢的问题。

本发明提出一种一种基于SQL的并行计算系统，用于对一源数据库进行统计或查询，包括数据分割服务器和多个节点服务器。数据分割服务器与源数据库相连，用于将源数据库中的海量数据按照一定规则进行分割。节点服务器均与数据分割服务器相连，且每个节点服务器又进一步包括节点数据库和节点处理器。节点数据库与数据分割服务器相连，用于存放经数据分割服务器分割后分配来的数据。节点处理器与节点数据库相连，用于对节点数据库中的数据进行查询或统计。

依照本发明较佳实施例所述的基于SQL的并行计算系统，其还包括汇总服务器，且汇总服务器又进一步包括临时表存储单元和主处理器。临时表存储单元与各个节点服务器相连，用于存放各个节点服务器反馈的查询或统计结果，并汇总形成临时表。主处理器与临时表存储单元相连，用于对临时表的信息进行查询或统计，并形成最终的结果集。

依照本发明较佳实施例所述的基于SQL的并行计算系统，其还包括前端展现模块，与汇总服务器相连，用于将查询或统计结果形成图形数据或表格数据。

本发明另提出一种基于SQL的并行计算方法，用于对源数据库进行统计或查询，包括以下步骤：(1)设置多个节点数据库。(2)将源数据库中的海量数据按照一定规则进行分割，并分配到各个节点数据库。(3)对各个节点数据库进行并行查询或统计。

依照本发明较佳实施例所述的基于SQL的并行计算方法，对各个节点数据库进行并行查询或统计之后还包括步骤：(1)将各个节点数据库的查询或统计结果进行汇总，并形成临时表。(2)对临时表的信息再次进行查询或统计，并形成最终的结果集。

依照本发明较佳实施例所述的基于SQL的并行计算方法，其还包括步骤：将查询或统计结果形成图形数据或表格数据。

依照本发明较佳实施例所述的基于SQL的并行计算方法，对数据进行分割时，按照数据量最大的分类字段或分类表进行分割。

相对于现有技术，本发明具有以下优点：