[发明专利]一种分布式处理数据的系统及方法

说明书

技术领域

本发明涉及数据处理技术，特别涉及一种分布式处理数据的系统及方法。

背景技术

分布式数据库系统是逻辑上属于同一系统，物理上分布在用计算机网络连接的多个节点(node)上的数据集合。节点在通讯网络中连接在一起，每个节点都是一个独立的数据库系统，拥有各自的数据库、中央处理机及终端，以及各自的局部数据库管理系统。在分布式数据库系统中，用户数据一般按用户分布在不同的节点数据库(DB)中，每次访问或修改用户数据时需要先定位用户数据所在的节点数据库，而定位用户数据所在的节点数据库的信息是用户重要的状态数据。

图1为现有的分布式数据库系统中用户分布装置的结构示意图。现结合图1，对现有的分布式数据库系统中用户分布装置进行说明，具体如下：

当用户注册时，用户分布控制单元21获取当前系统中不同节点数据库的用户分布权重，按照当前系统中不同节点数据库的用户分布权重向用户分布一个与该用户的用户id对应的DBid，将系统中的用户数量均衡地分布到不同的节点数据库上。

用户分布信息数据库22保存用户分布信息；用户分布信息包括用户id以及与用户id对应的DBid，还可以包括每个用户数据的当前状态信息。

当接收到访问请求时，用户访问控制单元23通过用户id查询用户分布信息数据库22，获得该用户id对应的存储用户数据的DBid，然后到该DBid对应的节点数据库访问用户数据。当系统对用户数据进行升级或迁移时，用户数据状态配置单元24修改用户分布信息数据库22中该用户数据的当前状态为维护状态，升级或迁移完成后，再将用户分布信息中该用户数据的当前状态修改为允许访问的正常状态。

现有的分布式数据库系统中的用户分布装置，在用户注册时充分考虑已有用户在节点数据库上的分布，使得用户能够均衡分布在系统中的节点数据库中，在用户数据进行升级或迁移时，仅影响该进行升级或迁移的用户，不会影响其他用户数据的访问。但是，现有的分布式数据库系统通常是基于ORACLE、DB2、SYSBASE等大型数据库建立分布式数据库系统，在处理海量数据的过程中，不仅成本较高，而且系统的维护需要耗费较多的时间，还有待进一步改进。

发明内容

有鉴于此，本发明的目的在于提供一种分布式处理数据的系统，该系统能够降低成本，缩短系统的维护所耗费的时间。

本发明的目的在于提供一种分布式处理数据的方法，该方法能够降低成本，缩短系统的维护所耗费的时间。

为达到上述目的，本发明的技术方案具体是这样实现的：

一种分布式处理数据的系统，该系统包含：

数据获取模块，根据预设的抽取条件，从分布的数据源中抽取获得第一数据，根据预设的清洗转换规则，对第一数据进行数据清洗和转换，将数据清洗和转换后的第一数据装载到表格中，并加载到数据仓库模块；

数据仓库模块，按照预设的分表规则，对表格进行拆分，从拆分后的表格中提取第一数据，获得表格数据和第一数据，保存表格数据，按照预设的分区规则，对第一数据进行分类，并保存在相应的分区中；

数据访问模块，根据输入的指令，从数据仓库模块中读取表格数据和第一数据，将第一数据装载到表格数据对应的表格中，并输出包含第一数据的表格。

上述系统中，所述数据获取模块包含：

数据抽取单元，根据预设的抽取条件，从分布的数据源中抽取获得第一数据，并输出至数据处理单元；

数据处理单元，根据预设的清洗转换规则，对第一数据进行数据清洗和转换，并输出至数据装载单元；

数据装载单元，对第一数据进行整理，将第一数据装载到表格中，加载包含第一数据的表格至数据仓库模块。

上述系统中，所述数据仓库模块包含：

管理节点，根据外部输入的指令，启动或关闭SQL节点和数据节点，管理配置文件和日志文件，将数据节点上报的关键信息写入日志文件；

至少一个SQL节点，每一个SQL节点根据其保存的表格数据，与保存在表格中的第一数据的数据节点建立一对一的连接关系，SQL节点按照预设的分表规则，对表格进行拆分，从拆分后的表格中提取第一数据，获得表格数据和第一数据，输出第一数据至数据节点，保存拆分后的表格数据；

至少一个数据节点，从管理节点获取配置文件，检索获得配置数据，完成节点的配置，按照预设的分区规则，对第一数据进行分类并保存在相应的分区中。

较佳地，所述SQL节点还为表格数据建立与其对应的表索引，还为每一个拆分后的表格保存用以存放表结构的第一文件、用以存放表数据的第二文件及用以存表索引的第三文件。