[发明专利]一种数据并行处理方法

说明书

本发明涉及一种数据并行处理方法，该方法包括相互独立的数据处理阶段、数据使用阶段和数据合并阶段，所述数据处理阶段与数据使用阶段并行，所述数据使用阶段与数据合并阶段互斥，其中，所述数据合并阶段是对数据历史区进行替换和添加操作，所述数据历史区分为当前分区和历史分区，所述当前分区存储无结束时间的数据，所述历史分区存储有结束时间的数据。与现有技术相比，本发明具有实现数据使用与加载并行、提高数据同步性等优点。

技术领域

本发明涉及数据处理领域，尤其是涉及一种数据并行处理方法。

背景技术

数据使用要求在数据使用期间保持数据正在开始时间点上是一致的，在数据开始使用后，数据就不能被增删改，同时为提高数据加载的效率往往对时间表采用表锁。因此数据处理过程与数据使用间存在冲突，使得在数据使用期间无法做数据加载，数据加载期间无法使用数据。系统的利用率不高，难以适应高强度，长时间的分析使用。而采用通常的两份镜像数据方法对大数据量存储(使用的数据环境达到10T以上容量)和同步带来了困难(常用的数据库级日志同步技术难以采用)。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种数据并行处理方法。

本发明的目的可以通过以下技术方案来实现：

一种数据并行处理方法，该方法包括相互独立的数据处理阶段、数据使用阶段和数据合并阶段，所述数据处理阶段与数据使用阶段并行，所述数据使用阶段与数据合并阶段互斥，其中，所述数据合并阶段是对数据历史区进行替换和添加操作，所述数据历史区分为当前分区和历史分区，所述当前分区存储无结束时间的数据，所述历史分区存储有结束时间的数据。

所述数据使用阶段与数据合并阶段互斥的机制包括数据使用优先机制和数据合并优先机制。

所述数据使用优先机制具体为：

当存在数据使用任务命令时，数据合并无限期等待。

所述数据合并优先机制具体为：

当数据使用任务的当前步骤运行完后，判断下一步骤需使用的数据表是否存在数据合并命令，若是，则等待数据合并完成后执行下一步骤，若否，则直接执行下一步骤。

所述数据处理阶段和数据合并阶段的运行模式包括：

a)一天处理，一天合并；或

b)多天处理，一次合并。

与现有技术相比，本发明具有以下优点：

1)数据处理阶段与数据使用阶段通过数据合并阶段实现完全独立且并行；

2)合并阶段与数据处理互斥，可以通过选择处理的优先级提高数据处理效率；

3)由于数据历史特点只对当前数据作update，历史数据是不变化的，因此将整个数据历史区分为当前数据和历史数据，作为两个分区存储，方便对当前数据作整体替换和历史数据作添加；

4)数据采用替换和添加相结合的方法平衡了性能和存储容量，在增加少量存储基础上大幅度缩短了合并时间。

具体实施方式

下面结合具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种数据并行处理方法，该方法包括相互独立的数据处理阶段、数据使用阶段和数据合并阶段，所述数据处理阶段与数据使用阶段并行，所述数据使用阶段与数据合并阶段互斥。数据处理、数据合并、数据使用三者是各自独立运行，通过状态控制达到数据一致性。