[发明专利]大数据ETL任务调度方法及装置

说明书

本发明公开了一种大数据ETL任务调度方法及装置。该方法包括：配置至少两个ETL任务流中每个ETL任务流对应的调度方案；根据每个ETL任务流对应的调度方案，对所述每个ETL任务流进行调度，以保证每个ETL任务流在同一时间只执行同一轮次。本发明避免了不同轮次的相同ETL任务流同时执行导致的数据混乱，避免了数据结果出错，提高了数据结果的准确性，节省了系统资源。

技术领域

本发明实施例涉及大数据处理技术，尤其涉及一种大数据ETL任务调度方法及装置。

背景技术

大数据技术是当前各行各业争相推动和依赖的技术领域。尤其是在互联网、电子商务、消费金融等行业，日常需要运行数以万记的大数据ETL(Extraction-Transformation-Loading，数据抽取、转换、装载的过程)任务作为数据分析、业务决策的重要支撑。

ETL任务需要按照业务情况配置对应的任务流，一个任务流可以看做一个具有根节点的有向无环图，任务之间有严格的先后顺序。常用的调度方案(如crontab等定时调度器)，到指定时间即刻触发任务流运行，不考虑上一轮次调度流程是否完成，每个新轮次的任务流都是独立的一个过程。

如图1所示，同个任务，不同轮次有可能会重叠运行，造成数据结果出错，管理混乱；不同轮次的多个任务同时运行，会造成系统资源耗尽，服务器崩溃。

发明内容

有鉴于此，本发明实施例提供一种大数据ETL任务调度方法及装置，以避免数据结果出错，节省系统资源。

第一方面，本发明实施例提供了一种大数据ETL任务调度方法，所述方法包括：

配置至少两个ETL任务流中每个ETL任务流对应的调度方案；

根据每个ETL任务流对应的调度方案，对所述每个ETL任务流进行调度，以保证每个ETL任务流在同一时间只执行同一轮次。

第二方面，本发明实施例还提供了一种大数据ETL任务调度装置，所述装置包括：

调度方案配置模块，用于配置至少两个ETL任务流中每个ETL任务流对应的调度方案；

ETL任务流调度模块，用于根据每个ETL任务流对应的调度方案，对所述每个ETL任务流进行调度，以保证每个ETL任务流在同一时间只执行同一轮次。

本发明实施例的技术方案，通过配置至少两个ETL任务流中每个ETL任务流对应的调度方案，根据每个ETL任务流对应的调度方案，对每个ETL任务流进行调度，以保证每个ETL任务流在同一时间只执行同一轮次，避免了不同轮次的相同ETL任务流同时执行导致的数据混乱，避免了数据结果出错，提高了数据结果的准确性，节省了系统资源。

附图说明

图1是现有技术中的大数据ETL任务调度方案的调度效果示意图；

图2是本发明实施例一提供的一种大数据ETL任务调度方法的流程图；

图3是本发明实施例二提供的一种大数据ETL任务调度方法的流程图；

图4是本发明实施例提供的大数据ETL任务调度方法中的第一调度方案的流程图；

图5是本发明实施例提供的大数据ETL任务调度方法中的第一调度方案的调度效果示意图；

图6是本发明实施例提供的大数据ETL任务调度方法中的第二调度方案的流程图；

图7是本发明实施例三提供的一种大数据ETL任务调度装置的结构示意图。

具体实施方式