[发明专利]同城大数据调度系统

说明书

本发明提供了一种同城大数据调度系统，该系统基于escheduler调度系统进行二次开发，新增操作日志服务，通过操作日志定位到具体的操作用户，提高了问题的排查效率；新增hostname注册Zookeeper模块的临时节点，避免因执行机器重启导致IP改变需要重新配置的问题；新增工作流状态监听模块，对系统工作流进行监听并在重要工作流忘记上线时，发送告警信息对用户进行提醒，保证工作流内调度任务的有序进行；最后，新增资源使用率报警模块，当资源使用率达到阈值时发送告警信息提醒用户调整，保证系统的稳定性，其中，上述告警信息通过集成钉钉告警发送至用户钉钉群组。

技术领域

本发明涉及计算机大数据的技术领域，尤其是涉及一种同城大数据调度系统。

背景技术

随着公司业务的不断增加和大数据技术的不断发展，公司业务系统需要对更多的报表数据进行业务分析，随之而来的就是离线任务和实时任务的增加，因此需要统一的调度系统对任务进行调度。目前，主流的调度系统有Oozie、Azkaban、escheduler等。但是Oozie存在配置工作流过程需要编写大量xml语言配置、社区活跃度低、代码复杂度较高等问题，Azkaban存在创建job需要手动完成固定格式文件、任务执行过程中信息无法持久的存储在内存中，一旦存储失败就会丢失所有工作流等问题，因此，这些问题导致上述调度系统不易于二次开发。而escheduler是一个分布式、去中心化、易扩展的可视化DAG(DirectedAcyclic Graph，有向无环图)工作流任务调度系统，其致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。根据该调度系统的特点，可以选择escheduler作为大数据集群统一调度系统。虽然该调度系统优点众多，但仍然存在部分缺点，例如，其各节点之间只支持IP(Internet Protocol，网络互联协议)地址、告警系统不支持钉钉、日志无法定位到具体操作用户等问题。

综上，现有的escheduler调度系统存在各节点间只支持IP地址、告警系统不支持钉钉和日志无法定位到具体操作用户的技术问题。

发明内容

本发明的目的在于提供一种同城大数据调度系统，以缓解现有的escheduler调度系统存在各节点间只支持IP地址、告警系统不支持钉钉和日志无法定位到具体操作用户的技术问题。

本发明实施例提供了一种同城大数据调度系统，包括：UI模块、Master模块、至少一个Worker模块、Zookeeper模块、工作流状态监听模块、数据库模块、钉钉模块；

所述UI模块，用于获取用户的操作指令，并根据所述操作指令生成操作任务，其中，所述操作任务包括：工作流操作任务、任务操作任务、工作组操作任务、用户权限操作任务；

所述Master模块，用于发送所述操作任务的数据至所述数据库模块，并配置所述任务操作任务的定时触发，当所述任务操作任务触发后启动监听服务、操作日志服务和告警服务，其中，触发后的任务操作任务发送至所述Zookeeper模块的任务队列；

所述Worker模块，用于获取所述任务队列中的任务操作任务、执行任务操作任务并启动执行日志服务，以监控所述任务操作任务的执行进度；

所述Zookeeper模块，用于注册并存储所述Master模块的hostname或IP，并用于注册并存储所述Worker模块的hostname或IP；

所述工作流状态监听模块，用于监听所述数据库模块内的所述工作流操作任务的状态，并根据所述工作流操作任务的状态发送告警至所述钉钉模块；

所述数据库模块，还用于存储整个系统的数据；

所述钉钉模块，用于接收并发送告警信息至用户钉钉。