[发明专利]大数据ETL系统及其调度方法

说明书

本发明公开一种大数据ETL系统及其调度方法，系统包括：Web可视化模块、ETL任务管理模块(包括ETL模板模块和ETL任务修改模块)、权限模块和调度模块；Web可视化模块对用户账户登陆系统后所有操作通过界面进行展示；ETL模板模块封装多种ETL操作模板；ETL任务修改模块接收用户输入的任务修改指令，调用权限模块校验该指令所对应操作的权限，在校验通过后调用调度模块以执行任务修改指令所对应的操作；权限模块设置绑定用户账户的登陆权限和可操作的ETL任务的权限；调度模块提供ETL任务的定时处理，以及任务修改指令所对应的操作的事件驱动处理。本发明能解决现有技术中ETL执行程序效率低下、操作繁琐、信息不直观，不方便描述等问题。

技术领域

本发明实施例涉及计算机技术领域，具体涉及一种大数据ETL系统及其调度方法。

背景技术

ETL(extract-transform-load，抽取-转换-加载)是用来描述数据从源端经过抽取、转换、加载到目的端的过程。ETL过程主要包括三个阶段：输入、处理以及输出，其中，处理阶段可以包括：清洗，过滤，校验等处理操作。

在互联网飞速发展的今天，随处可用到大数据的处理系统，在大数据的处理场景中，存在大量的ETL处理场景，不同的ETL处理场景的ETL处理方式可能不一样。目前，现有技术中实现ETL过程的ETL执行程序采用传统的软件开发模式，通过人工编写代码的方式实现。

但是，由于现有技术中的ETL执行程序都是通过人工编码方式，然后在让系统执行该执行程序以实现ETL过程，带来了以下不便利性：一、人工编写代码，效率低下，在大数据时代，ETL场景多，编写不过来；二、当ETL需求变化，则需要更新代码，操作繁琐，效率低，影响业务处理；三、代码呈现为一段文本，信息不直观，不方便描述。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种大数据ETL系统，能够解决现有技术中的ETL执行程序效率低下、操作繁琐、信息不直观，不方便描述等问题。

第一方面，本发明实施例提出一种大数据ETL系统，包括：Web可视化模块、ETL任务管理模块、权限模块和调度模块；其中：

所述Web可视化模块，用于对用户账户登陆大数据ETL系统后所进行的所有操作通过界面进行展示；

所述ETL任务管理模块，包括：ETL模板模块和ETL任务修改模块；

所述ETL模板模块，用于封装多种ETL操作的模板；

所述ETL任务修改模块，用于接收用户输入的任务修改指令，调用所述权限模块校验所述任务修改指令所对应操作的权限，在校验通过后调用所述调度模块，以执行所述任务修改指令所对应的操作；

所述权限模块，用于设置绑定用户账户的登陆权限和可操作的ETL任务的权限；

所述调度模块，用于提供ETL任务的定时处理，以及所述任务修改指令所对应的操作的事件驱动处理。

可选地，所述多种ETL操作，包括：

从关系数据库将数据ETL到大数据生态下的基于HDFS数据仓库Hive上；

从Hive将数据ETL到关系型数据库中；

将Hive中的数据以邮件的形式发出；

将Hive上的数据流转；

用户预先输入存储的用于实现预设ETL操作的程序代码段。

可选地，所述任务修改指令，包括：新增ETL任务的指令、修改ETL任务的指令、查看ETL任务的指令和删除ETL任务的指令。

可选地，若所述任务修改指令为新增ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于