[发明专利]一种数据并行处理方法

权利要求书

1.一种数据并行处理方法，其特征在于，该方法包括相互独立的数据处理阶段、数据使用阶段和数据合并阶段，所述数据处理阶段与数据使用阶段并行，所述数据使用阶段与数据合并阶段互斥，其中，所述数据合并阶段是对数据历史区进行替换和添加操作，所述数据历史区分为当前分区和历史分区，所述当前分区存储无结束时间的数据，所述历史分区存储有结束时间的数据，方便对当前数据作整体替换和历史数据作添加；

数据处理阶段中，当天的全量数据和前一天的历史增量数据处理完成后导入数据库作为影子数据，其中，所述全量数据包括全量更新表和时间拉链表的当前分区，所述历史增量数据包括增量表和时间拉链表的历史分区；

在数据使用的间隙，将当天数据与数据库中当前数据作整体切换，将当天的历史数据以增量方式合并到历史数据。

2.根据权利要求1所述的数据并行处理方法，其特征在于，所述数据使用阶段与数据合并阶段互斥的机制包括数据使用优先机制和数据合并优先机制。

3.根据权利要求2所述的数据并行处理方法，其特征在于，所述数据使用优先机制具体为：

当存在数据使用任务命令时，数据合并无限期等待。

4.根据权利要求2所述的数据并行处理方法，其特征在于，所述数据合并优先机制具体为：

当数据使用任务的当前步骤运行完后，判断下一步骤需使用的数据表是否存在数据合并命令，若是，则等待数据合并完成后执行下一步骤，若否，则直接执行下一步骤。

5.根据权利要求1所述的数据并行处理方法，其特征在于，所述数据处理阶段和数据合并阶段的运行模式包括：

a)一天处理，一天合并；或

b)多天处理，一次合并。