[发明专利]大数据分布式任务调度系统

说明书

本发明公开了大数据分布式任务调度系统，包括通过代理服务器实现分布式任务调度，通过采集集群、流式集群和分布式消息队列实现调度日志采集和汇总，将查询结果送达web前端进行分析与展示。本发明和现有技术相比，满足了简易需求的大数据调度需求，提升其快速部署与使用效率，在适用行业大数据应用场景的同时，降低使用成本并且增加调度系统的通用性。

技术领域

本发明涉及分布式任务调动技术领域，具体地说是一种大数据分布式任务调度系统。

背景技术

当前正处于大数据技术飞速发展的时代，各行业在使用大数据的同时也面临着许多技术问题，其中如何正确高效的解决大数据集群任务的调度，如何汇总分析调度历史记录，如何降低集群管理难度，提升易维护性也是各行业面临的一项难题；在如今技术领域尚未形成一个标准化的调度系统，究其原因，一方面来自于各行业业务的千差万别，另一方面也取决于任务调度系统的定制化与业务复杂性。除了Crontab、Quartz这类偏单机的定时调度程序或类库，开源分布式任务调度系统也有很多，比较知名的有oozie，azkaban等，像阿里的SchedulerX，腾讯的Lhotse，一般都是自主研发或在开源的基础上进行一些封装和改造，比较多的公司采取了封装oozie的方式，但是，存在的弊端如下： 1、使用场景复杂多样，开发人员开发成本过高；2、偏向于单结点调度，使用场景不适用互相独立的大数据集群和应用集群；3、集群调度存在任务重复调度的问题；4、在应对简易调度需求时，上述系统略显笨重，且无法快速部署与使用，同时其架构的复杂性也增加了异常或错误发生的可能性；5、集群中出现的调度系统和应用系统竞争资源，降低双方系统稳定性的问题；6、集群的调度信息、日志收集、分析、展示困难的问题。

发明内容

本发明的技术任务是针对上述问题，为了建设满足简易需求的大数据调度需求，提升其快速部署与使用效率，在适用行业大数据应用场景的同时，降低使用成本增加调度系统的通用性，本发明提出了一种易实施性、简单易用的大数据分布式任务调度系统。

本发明解决其技术问题所采用的技术方案是：大数据分布式任务调度方法，具体方法包括通过代理服务器实现分布式任务调度，通过采集集群、流式集群和分布式消息队列实现调度日志采集和汇总，将查询结果送达web前端进行分析与展示。

进一步的，

S1、用户通过应用服务器配置调度规则；

S2、应用服务器根据调度规则配置代理服务器；

S3、代理服务器提交调度任务至集群；

S4、集群将任务日志发送至日志服务器；

S5、采集集群收集任务日志；

S6、流式计算集群推送或拉取任务日志；

S7、应用服务器远程提交任务日志处理程序至流式计算集群；

S8、流式计算集群汇总任务日志结果并存入数据库服务器；

S9、应用服务器返回、增删、改查任务日志结果；

S10、应用服务器将查询结果送达web前端进行分析与展示。

大数据分布式任务调度系统，包括任务调度系统和调度日志采集汇总系统；

所述的任务调度系统，基于Insight HD大数据平台，利用类UNIX系统中的Crontab实现分布式任务调度；

所述的调度日志采集汇总系统，用于调度日志采集和汇总，并将采集和汇总结果送达web前端进行分析、展示；

所述的任务调度系统，包括Hadoop集群模块、应用服务器模块、关系型数据库模块、调度代理服务器模块和日志收集服务器模块。