[发明专利]一种ETL流程在分布式架构运行的方法

权利要求书

1.一种ETL流程在分布式架构运行的方法，其特征在于，包括如下步骤，

步骤S1、识别各组件的类型，对于数据输入类的组件构造成Storm的Spout组件，其余类的组件构造成Storm的Blot组件，根据流程中组件间的连接关系，构造Storm的拓扑，配置各个组件需要的线程数；其中，Spout组件调用数据输入类的运行逻辑，获取数据并加入输出数据缓存队列，定时或当队列达到预定量时就推送到下一个组件；Bolt组件不断监听是否接收到数据传递Tuple，接收到时则调用其原有ETL组件的运行逻辑；

步骤S2、发送拓扑至Storm集群里，使得Storm自动分配组件生成运行实例到集群的各个节点上；

步骤S3、Spout与Bolt，Blot与Blot之间的数据传递Tuple直接使用原ETL流程组件的处理后的数据；当组件接收到Tuple的时候，先判断是否是定时标识flag，如果flag不为空，则将当前组件的输出数据缓存队列全部推送到下一组件并清掉当前缓存；如果flag为空且当前Tuple为待处理数据时，则当前组件处理这条数据，并加入输出数据缓存队列；

步骤S4、当有数据没成功处理完，可通过Strom的自动重发，由Spout组件重新发送失败的数据到下一组件处理。