[发明专利]大规模并行处理(MPP)数据库的自动伸缩方法

说明书

通过分阶段迁移过程能够使大规模并行处理(MPP)数据库在保持在线的同时实现重新分区/重新均衡。分阶段迁移可包括第一阶段和第二阶段。在第一阶段，重新分配现有分区中的条目至新分区；更新目录，使重新分配的条目与所述现有分区和所述新分区同时发生关联，以使对所述重新分配的条目的查询被定向到所述现有分区和所述新分区。在第二阶段，将所述重新分配的条目从现有分区迁移至所述新分区；迁移完成后，重新更新目录，将迁移后的条目与所述新分区发生关联，以使新查询被定向到所述新分区。

技术领域

本发明涉及大规模并行处理(MPP)数据库，以及在特定实施例中，涉及一种MPP数据库的自动伸缩方法。

背景技术

大规模并行处理(MPP)是多个处理器处理同一程序的不同部分时该程序的协调过程。各处理器运用自身的操作系统和内存资源相互交流，共同完成一项任务。MPP数据库系统基于无共享架构，其数据库的表划分成片段，再分配给不同的处理节点。各处理节点之间不分享数据。数据库查询时，各查询工作根据数据分配方案和优化执行方案划分并且分配至其中一个所述处理节点。各个处理节点的处理实体仅负责处理各自的数据部分。但是，这些处理实体在其工作执行期间可以互相交流，交换必要的信息。一个查询可划分为多个子查询，所述多个子查询可在部分或全部所述处理节点上并行执行或按某种优选顺序执行。所述子查询的结果可先聚合再处理，继而更多的子查询可根据所述结果执行。

MPP系统的一大挑战是当MPP数据库添加数据时如何保持有效伸缩。具体来讲，MPP数据库的创建通常是通过某种算法(例如，哈希，范围等)在多个数据库分区(DB分区)中划分一个或多个表。所述MPP数据库添加新数据时，所述DB分区内的各表中根据该算法产生新的数据条目。然而，传统的MPP数据库的数据分区算法是在该MPP数据库的创建过程中设置，并且在所述MPP数据库的整个生命周期内保持不变。因此，所述静态算法可能无法随着条件的变化而演变，从而导致底层MPP数据库随着时间的推移在处理查询时变得不均衡且效率低下。

举例来讲，假设某个传统客户数据库是基于账户持有人的性别来分区的，那么，男性账户持有人对应的数据库条目和女性账户持有人对应的数据库条目分别存储在不同的DB分区。之所以选择该算法是因为在所述MPP数据库首次创建时，男性账户持有人和女性账户持有人的比率相对均衡。然而，随着时间的推移，假设该数据库中新增女性账户持有人的速度明显高于男性账户持有人，将会导致所述MPP数据库变得不均衡(即第二DB分区明显大于第一DB分区)。在某个时刻，重新划分所述MPP数据库以使DB分区重新获得均衡变得尤为迫切。现有技术中，重新划分MPP数据库由数据库管理员(DBA)手动执行，这通常需要该MPP数据库离线一段时间。因此，迫切需要能够在不中断MPP数据库的运行时间操作的情况下实现MPP数据库重新分区的机制。

发明内容

技术优点通常由本发明实施例描述的MPP数据库的自动伸缩系统和方法来实现。

根据一实施例，提供了一种用于管理大规模并行处理(MPP)数据库的方法和装置。本实例中，该方法包括：确定所述MPP数据库的现有分区重新均衡的条件已满足；将现有分区中的一组条目重新分配至新分区；更新目录，使该组条目与所述现有分区和所述新分区同时发生关联，以使迁移期间接收到的对该组条目的查询被定向到所述现有分区和所述新分区。该方法还包括：将该组条目从所述现有分区迁移至所述新分区；重新更新目录，以便在该组条目从现有分区迁移至新分区后，使该组条目与所述新分区发生关联。还提供了一种执行该方法的装置。