[发明专利]用于实时数据ETL系统的记忆式调度方法

摘要

用于实时数据ETL系统的记忆式调度方法，ETL调度主程序按照预先设定的顺序执行某个任务，执行的时候把lscycle最近成功数据周期、curcycle当前处理数据周期、endcycle处理截止数据周期等由调度引擎记忆下来的关键信息传给被调程序，被调程序执行完成之后，由调度引擎记录并保存更新后的调度信息；在数据重抽中，通过记忆式调度方法自动对其中的某些任务和某些周期进行自动重抽；记忆式调度方法(有状态调度方法)解决了传统ETL调度程序无状态的特点，简化了被调程序的任务，通过记忆状态使得被调程序可以专注于自己的业务逻辑，为实时数据ETL领域赢得了大量的开发时间，大大提高了项目实施的效率。

主权项

1、用于实时数据ETL系统的记忆式调度方法，其特征是：ETL调度主程序按照预先设定的顺序执行某个任务，执行的时候把lscycle最近成功数据周期、curcycle当前处理数据周期、endcycle处理截止数据周期等由调度引擎记忆下来的关键信息传给被调程序，被调程序执行完成之后，由调度引擎记录并保存更新后的调度信息；在数据重抽中，通过记忆式调度方法自动对其中的某些任务和某些周期进行自动重抽；ETL数据分类：根据ETL数据的变化特点，分成固定周期数据和周期闭环数据：固定周期：是指在分析周期内数据是静止的数据；周期闭环：指抽取特定周期内数据是变化的、取最后一次变化的记录；该周期是不固定的，其时间范围为上次执行抽取的时间到本次执行抽取发生的时间；记忆式调度方法：假定调度流程Wf1，任务B1∈wf1，则Wf1的状态＝{wstate状态、          lscycle最近成功数据周期、          endcycle处理截止数据周期、          curcycle当前处理数据周期}B1的状态包括＝{bstate状态、          succnum成功运行次数、          succtotal成功运行总历时、          succavg成功运行平均历时}周期闭环的记忆式调度方法：某个周期闭环数据集A，A的起始抽取时间是Φ，每隔T0分钟抽取一次，则数据集A的抽取时间集＝[Φ，Φ1)+[Φ1，Φ2)+[Φ2，Φ3)+…+[Φn-1，Φn)+…其中，“[Φn”表示≥Φn，“Φn+1)”表示＜Φn+1Φn表示每隔T0分钟去抽取数据集A的当时的时间点，一般情况下等于Φ+T0*n(n从1开始，表示从Φ开始之后的第n个T0分钟)；因此，对于周期闭环当中的某个[Φn，Φn+1)：lscycle＝[Φn-2，Φn-1)curcycle＝[Φn-1，Φn)endcycle＝[Φn-1，Φn)这几个关键性的信息被调度引擎记忆下来，从而不需要被调程序进行处理，由调度引擎自动告诉被调程序执行以下时间序列的任务：[Φn-1，Φn)同时，wstate、bstate、succnum、succtotal、succavg也被调度引擎记忆下来固定周期的记忆式调度对于固定周期的数据ETL调度，假定数据集B，B的起始抽取周期是∏，每隔T1天抽取一次，则数据集B的抽取周期集＝∏1+∏2+∏3+…+∏n-1+∏n+…其中，∏n等于∏+n(n从1开始，表示从∏开始之后的第n天)；因此，对于固定周期当中的某个∏n：lscycle＝∏n-1curcycle＝∏nendcycle＝∏k这几个关键性的信息被调度引擎记忆下来，从而不需要被调程序进行处理，由调度引擎自动告诉被调程序执行以下时间序列的任务：∏n、∏n+1...∏k-1、∏k同时，wstate、bstate、succnum、succtotal、succavg也被调度引擎记忆下来；在ETL任务由于某种原因被暂停或执行失败而在时间上滞后预定计划，在该任务重新恢复正常运行时，能进行ETL任务的自动追赶。