[发明专利]同城大数据调度系统

权利要求书

1.一种同城大数据调度系统，其特征在于，包括：UI模块、Master模块、至少一个Worker模块、Zookeeper模块、工作流状态监听模块、数据库模块、钉钉模块；

所述UI模块，用于获取用户的操作指令，并根据所述操作指令生成操作任务，其中，所述操作任务包括：工作流操作任务、任务操作任务、工作组操作任务、用户权限操作任务；

所述Master模块，用于发送所述操作任务的数据至所述数据库模块，并配置所述任务操作任务的定时触发，当所述任务操作任务触发后启动监听服务、操作日志服务和告警服务，其中，触发后的任务操作任务发送至所述Zookeeper模块的任务队列；

所述Worker模块，用于获取所述任务队列中的任务操作任务、执行任务操作任务并启动执行日志服务，以监控所述任务操作任务的执行进度；

所述Zookeeper模块，用于注册并存储所述Master模块的hostname或IP，并用于注册并存储所述Worker模块的hostname或IP；

所述工作流状态监听模块，用于监听所述数据库模块内的所述工作流操作任务的状态，并根据所述工作流操作任务的状态发送告警至所述钉钉模块；

所述数据库模块，还用于存储整个系统的数据；

所述钉钉模块，用于接收并发送告警信息至用户钉钉。

2.根据权利要求1所述的同城大数据调度系统，其特征在于，所述用户权限操作任务中的用户权限包括：管理员权限和普通用户权限，所述管理员权限包括：授权权限和用户管理权限，所述普通用户权限包括：创建工作流操作任务的权限、创建任务操作任务的权限、创建工作组操作任务的权限，其中，所述普通用户权限对应的用户具有固定的token，所述token为用户钉钉群组的识别码。

3.根据权利要求1所述的同城大数据调度系统，其特征在于，所述Master模块包括：APIServer单元、MasterServer单元、AlterServer单元和第一LoggerServer单元；

所述APIServer单元，用于将所述UI模块生成的所述操作任务的数据发送至所述数据库模块，并返回对应数据至所述UI模块；

所述MasterServer单元，用于注册所述Master模块的hostname或IP至所述Zookeeper模块、定时触发所述任务操作任务、添加所述任务操作任务至所述任务对队列、监听所述数据库模块内的任务状态；

所述AlterServer单元，用于根据监听结果发送任务告警至所述钉钉模块；

所述第一LoggerServer单元，用于用户查看所述任务操作任务的执行日志，并将用户的操作日志写入所述数据库模块。

4.根据权利要求3所述的同城大数据调度系统，其特征在于，所述Worker模块还包括：WorkerServer单元、第二LoggerServer单元、存储单元；

所述WorkerServer单元，用于注册所述Worker模块的hostname或IP至所述Zookeeper模块、获取所述任务队列中的任务操作任务并执行、更新任务操作任务的状态至所述数据库模块；

所述第二LoggerServer单元，用于返回所述任务操作任务的执行日志到所述存储单元；

所述存储单元，用于存储所述执行日志。

5.根据权利要求1所述的同城大数据调度系统，其特征在于，所述任务队列包括：至少一个携带任务名称和标识的任务操作任务，其中，所述标识包括：hostname或IP，所述hostname或IP用于匹配所述Worker模块，以使对应的Worker模块执行所述任务操作任务。

6.根据权利要求3所述的同城大数据调度系统，其特征在于，所述任务状态包括以下任一种：待运行状态、失败状态、运行中状态、完成状态。

7.根据权利要求4所述的同城大数据调度系统，其特征在于，在用户查看所述任务操作任务的执行日志之前，所述Master模块内的第一LoggerServer单元链接所述Worker模块内的第二LoggerServer单元。