[发明专利]基于工作流机制的并发式ETL转换方法

权利要求书

1.一种基于工作流机制的并发式ETL转换方法，其特征在于，该方法包括以下实现步骤：

A、建立基于WFMC模型的面向数据任务的工作流进程，将多个工作流实例通过网络分布在不同的计算节点上；

B、建立多个并行的数据抽取转换执行进程即ETL进程，用于执行各工作流任务；

C、建立对上述并行进程即并行的工作流任务的主控管理进程，用于负责对并行抽取任务进行监控和管理； 

D、建立并行的任务管理调度进程，用于将工作流任务调取至主控管理进程。

2.根据权利要求1所述的基于工作流机制的并发式ETL转换方法，其特征在于，该方法还包括以下步骤：

E、建立一套并行工作流任务冲突的判断规则库，当工作流任务之间发成冲突时，采用该规则库的规则对工作流任务进行处理；

F、建立负载均衡监控进程，用于对并行进程的性能进行监控。

3.根据权利要求1所述的基于工作流机制的并发式ETL转换方法，其特征在于，步骤B中，采用基于远程方法调用RMI远程调度接口的并发式ETL引擎体系结构设计，该并发式ETL方法由部署在网络上的一个主控管理进程和多个执行进程组成，主控管理进程和执行进程之间通过RMI机制的远程调度接口进行通信。

4.根据权利要求2所述的基于工作流机制的并发式ETL转换方法，其特征在于，步骤E的并行工作流任务冲突的判断规则库中，判断规则包括：是空、 非空、在列表中、包含、等于、不等于、小于、小于等于、大于、大于等于、规则表达式、开始字段和结束字段在内的多种判断机制。

5.根据权利要求1所述的基于工作流机制的并发式ETL转换方法，其特征在于，步骤D中所述的并行的任务管理调度方法为采用队列轮询检查机制 Round Robin的任务调度方法包括以下步骤：

首先，建立调度管理线程池，初始状态时，线程池中有若干个调度管理线程；

执行工作流任务时，从调度管理线程池获取一个空闲的调度管理线程，如果没有空闲线程则等待被通知；否则，从工作流任务的等待队列中取出一个工作流实例放入工作流执行队列，并交由前述获取的空闲调度管理线程进行调度，调度管理线程通知主控管理进程的任务管理部分建立工作流任务实例并放入待执行任务队列，重复此过程直到待执行任务队列为空或调度管理线程池为空。

6.根据权利要求1所述的基于工作流机制的并发式ETL转换方法，其特征在于步骤B中，数据抽取转换执行进程采用不改变数据元结构的数据流分割模式对数据进行并行分割抽取。

7.根据权利要求1所述的基于工作流机制的并发式ETL转换方法，其特征在于，并行进程即并行的工作流任务之间的通讯采用基于共享内存的管道通信机制来完成。