[发明专利]大数据分布式任务调度系统

权利要求书

1.大数据分布式任务调度方法，其特征在于，具体方法包括通过代理服务器实现分布式任务调度，通过采集集群、流式集群和分布式消息队列实现调度日志采集和汇总，将查询结果送达web前端进行分析与展示。

2.根据权利要求1所述的大数据分布式任务调度方法，其特征在于，具体方法如下：

S1、用户通过应用服务器配置调度规则；

S2、应用服务器根据调度规则配置代理服务器；

S3、代理服务器提交调度任务至集群；

S4、集群将任务日志发送至日志服务器；

S5、采集集群收集任务日志；

S6、流式计算集群推送或拉取任务日志；

S7、应用服务器远程提交任务日志处理程序至流式计算集群；

S8、流式计算集群汇总任务日志结果并存入数据库服务器；

S9、应用服务器返回、增删、改查任务日志结果；

S10、应用服务器将查询结果送达web前端进行分析与展示。

3.大数据分布式任务调度系统，其特征在于，包括任务调度系统和调度日志采集汇总系统；

所述的任务调度系统，基于Insight HD大数据平台，利用类UNIX系统中的Crontab实现分布式任务调度；

所述的调度日志采集汇总系统，用于调度日志采集和汇总，并将采集和汇总结果送达web前端进行分析、展示；

所述的任务调度系统，包括Hadoop集群模块、应用服务器模块、关系型数据库模块、调度代理服务器模块和日志收集服务器模块。

4.根据权利要求3所述的大数据分布式任务调度系统，其特征在于，所述的调度日志采集汇总系统，包括采集集群、分布式消息队列和流式计算集群；

所述的采集集群，为在日志服务器部署Flume组件并进行初始化监听，用于采集任务执行日志文件，并发送到分布式消息队列中作为流式计算的数据源；

所述的分布式消息队列，为在日志服务器部署Kafka组件，使用发布订阅模式，将分布式消息队列作为采集集群所抽取日志的缓冲层，分布式消息队列将日志数据发送到流式计算集群；

所述的流式计算集群，为在日志服务器部署Storm组件，并提交日志解析代码，根据实际需要形成处理日志的拓扑，解析调度任务的状态及执行时间；然后将解析结果回写到关系数据库模块，将解析结果与任务调度元信息关联，建立映射关系，通过Web页面提供给用户使用。

5.根据权利要求3所述的大数据分布式任务调度系统，其特征在于，所述的任务调度系统还包括第三方系统监控模块；

所述的第三方系统监控模块，用于监控Crond服务，失败自动重启时，保留系统服务失败日志，并将日志通知管理员。

6.根据权利要求3所述的大数据分布式任务调度系统，其特征在于，所述的应用服务器模块，用于部署任务调度系统管理程序，具有配置、管理、监控任务的功能，将任务配置完成后提交到调度代理服务器模块；包括定时触发任务信息和任务之间的依赖关系信息；

所述的关系型数据库模块，用于存储定时任务元数据信息，接收应用服务器模块的定时触发任务信息和任务之间的依赖关系信息，并且提供增加、删除、查询和修改的接口。

7.根据权利要求3所述的大数据分布式任务调度系统，其特征在于， 所述的调度代理服务器模块，用于向Hadoop集群模块提交分布式任务；

所述的日志收集服务器模块，用于存储调度代理服务器模块任务执行产生的调度日志和调度记录。