[发明专利]分布式数据处理装置及方法

说明书

技术领域

本发明涉及数据库分布式存储、多线程程序开发领域，尤其涉及一种分布式数据处理装置及方法。

背景技术

当一个系统中的数据量非常大，比如达到上千万甚至上亿条数据时，如果仍然采取单一数据库的存储方式，访问数据速度将极其缓慢。从而导致应用程序无法正常执行增、删、改、查等操作，甚至使系统崩溃。

数据量大时，数据访问速度慢的主要原因是：

(一)受数据库服务器硬件条件限制

一台服务器的内存、CPU、I/O吞吐量等都是优先的，执行大量数据的查询会占用服务器的内存等资源，从而使服务器负荷过高，导致执行速度缓慢。

(二)受网络条件的限制。

数据库的查询结果需要通过网络从服务器发送至客户端，数据量过大会占用网络资源，从而影响网络传输效率。

发明内容

(一)要解决的技术问题

本发明的目的在于提供一种分布式数据处理装置及方法，以解决上述的至少一项技术问题。

(二)技术方案

本发明提供了一种分布式数据处理装置，包括核心服务器与至少一个业务服务器，所述核心服务器电性耦接至少一个业务服务器，其中，

所述核心服务器，用于存储与其电性耦接的至少一个业务服务器的业务数据库和与该业务数据库关联的参数，并根据所述参数生成连接字符串；

所述业务服务器，用于存储至少一个业务数据库，且每个业务数据库对应一个子线程；以及用于根据所述连接字符串，将子线程连接对应的业务数据库，对该业务数据库进行处理。

在本发明的一些实施例中，所述业务服务器还用于将增加、删除、修改或者查询的算法封装成网页服务，通过调用所述网页服务以及根据所述参数生成连接字符串，通过该子线程连接对应的业务数据库，对该对应的业务服务器的数据进行增加、删除、修改或者查询。

在本发明的一些实施例中，所述参数可以由外界的客户端输出，一般包括业务服务器的ID、IP地址、连接方式、用户名和/或密码，也通过参数与业务数据库的映射表，实现二者的关联。

在本发明的一些实施例中，业务服务器还用于将处理后得到的处理结果经汇总，得到汇总结果，通过与该业务服务器连接的核心服务器返回至所述客户端。

基于同一发明构思，本发明还提供了一种分布式数据处理方法，包括：

建立核心服务器以及至少一个业务服务器，其中，所述核心服务器存储与其电性耦接的至少一个业务服务器的业务数据库和与该业务数据库关联的参数，所述业务服务器存储业务数据库，且每个业务数据库对应一个子线程；

根据所述参数生成连接字符串；

根据所述连接字符串，将子线程连接对应的业务数据库，对该业务数据库进行处理。

在本发明的一些实施例中，所述对该业务服务器进行处理的具体步骤包括：将增加、删除、修改或者查询的算法封装成网页服务，通过调用所述网页服务以及根据所述参数生成连接字符串，通过该子线程连接对应的业务数据库，对该对应的业务服务器的数据进行增加、删除、修改或者查询。

在本发明的一些实施例中，建立参数与业务数据库的映射表，实现二者的关联。

在本发明的一些实施例中，将业务服务器处理后得到的处理结果汇总，得到汇总结果，通过与该业务服务器连接的核心服务器返回至所述客户端。

在本发明的一些实施例中，还包括步骤：若当前子线程未连接对应的业务数据库，则放弃对该业务数据库的处理。

(三)有益效果

本发明提供的分布式数据处理装置及方法，相较于现有技术，至少具有以下优点：

1、更适合具有地理分布特性的组织或机构使用，允许分布在不同区域、不同级别的各个部门对其自身的数据实行局部控制，可以降低通信代价，提高响应速度，而涉及其他场地数据库中的数据只是少量的，从而可以大大减少网络上的信息传输量；同时，局部数据的安全性也可以做得更好。

2、具有经济性，可靠性高，可用性好的优点。与一个大型计算机支持的大型系统相比，由超级微型计算机或超级小型计算机支持的分布式数据库装置往往具有更高的性价比和实施灵活性。另外分布式系统比集中式系统具有更高的可靠性和更好的可用性，在个别场地或个别通信链路发生故障时，防止整个系统的崩溃，而且系统的局部故障不会引起全局失控。

3、因为待处理的数据存储在本地的业务数据库中，因此，本发明的响应速度和处理速度快。