[发明专利]大数据ETL系统及其调度方法

权利要求书

1.一种大数据ETL系统，其特征在于，包括：Web可视化模块、ETL任务管理模块、权限模块和调度模块；其中：

所述Web可视化模块，用于对用户账户登陆大数据ETL系统后所进行的所有操作通过界面进行展示；

所述ETL任务管理模块，包括：ETL模板模块和ETL任务修改模块；

所述ETL模板模块，用于封装多种ETL操作的模板；

所述ETL任务修改模块，用于接收用户输入的任务修改指令，调用所述权限模块校验所述任务修改指令所对应操作的权限，在校验通过后调用所述调度模块，以执行所述任务修改指令所对应的操作；

所述权限模块，用于设置绑定用户账户的登陆权限和可操作的ETL任务的权限；

所述调度模块，用于提供ETL任务的定时处理，以及所述任务修改指令所对应的操作的事件驱动处理；

所述任务修改指令，包括：新增ETL任务的指令、修改ETL任务的指令、查看ETL任务的指令和删除ETL任务的指令；

若所述任务修改指令为新增ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于

接收用户输入的新增ETL任务的指令，调用所述权限模块校验所述新增ETL任务的指令所对应的新增ETL任务操作的权限，在校验通过后调用所述调度模块，以执行下述新增ETL任务的指令所对应的新增ETL任务的操作，包括：选择所述ETL模板模块中所封装的ETL操作的模板，设定调度信息，提交ETL任务和将提交的ETL任务翻译成ETL代码并执行。

2.根据权利要求1所述的系统，其特征在于，所述多种ETL操作，包括：

从关系数据库将数据ETL到大数据生态下的基于HDFS数据仓库Hive上；

从Hive将数据ETL到关系型数据库中；

将Hive中的数据以邮件的形式发出；

将Hive上的数据流转；

用户预先输入存储的用于实现预设ETL操作的程序代码段。

3.根据权利要求1所述的系统，其特征在于，若所述任务修改指令为修改ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于

接收用户输入的修改ETL任务的指令，调用所述权限模块校验所述修改ETL任务的指令所对应的修改ETL任务操作的权限，在校验通过后调用所述调度模块，以执行下述修改ETL任务的指令所对应的修改ETL任务的操作，包括：选择ETL任务，更新所述ETL模板模块中所选择的ETL任务所对应的模板信息，以及更新调度信息，提交修改后的ETL任务和将提交的修改后的ETL任务翻译成ETL代码并执行。

4.根据权利要求1所述的系统，其特征在于，若所述任务修改指令为查看ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于

接收用户输入的查看ETL任务的指令，调用所述权限模块校验所述查看ETL任务的指令所对应的查看ETL任务操作的权限，在校验通过后调用所述调度模块，以执行浏览所述查看ETL任务的指令中所选择的ETL任务的操作。

5.根据权利要求1所述的系统，其特征在于，若所述任务修改指令为删除ETL任务的指令，则相应地，所述ETL任务修改模块，具体用于

接收用户输入的删除ETL任务的指令，调用所述权限模块校验所述删除ETL任务的指令所对应的删除ETL任务操作的权限，在校验通过后调用所述调度模块，以执行删除所述删除ETL任务的指令中所选择的ETL任务的操作。