[发明专利]基于云系统的作业调度方法和系统

说明书

技术领域

本发明涉及计算机及通信领域，尤其涉及一种基于云系统的作业调度方法和系统。

背景技术

云系统是采用国际首创的HFP及HDRDP技术在局域网架构下实现云计算使用效果的新一代通用计算机系统产品。云系统，又称云计算中心操作系统、云OS，是云计算后台数据中心的整体管理运营系统。在云系统中进行作业调度时，往往都以集群为单位处理。crontab命令常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行，crontab文件包含送交cron守护进程的一系列作业和指令。但是，系统自带的crontab调度只能在单一节点上执行，且不具备伸缩、扩展、高可用能力，给系统业务和运维带来一定的困难，因此，亟需一种新的技术手段，能够解决上述技术问题。

发明内容

本发明提供一种基于云系统的作业调度方法和系统，以解决上述技术问题。

本发明解决上述技术问题的技术方案如下：

一种基于云系统的作业调度方法，包括：

a.调度模块通过在Zookeeper服务器上进行注册，确认作业调度是否启用，所述Zookeeper服务器的Zookeeper服务为集群部署；

b.注册成功后，获取令牌，并查询所述令牌对应的作业调度配置表；

c.通过作业调度配置表获取该待调度作业的处理作业列表；

d.执行待调度作业，调度完成后将调度结果反馈给调度模块。

进一步，步骤c中还包括根据并发处理字段对处理作业列表进行多线程处理，并对各线程中的处理作业列表进行优先级排序，各线程循环处理作业列表。

通过多线程处理，并利用分布式内存数据库共享特性承载业务配置数据和结果数据，通过将返回结果存放分布式内存数据库中的结果集供云运维平台使用，提高了处理速度。

进一步，所述调度模块为多个，用于对调度作业均衡负载，调度模块对作业调度配置表中的作业配置信息进行校验，判断配置信息中各字段是否满足格式要求。

通过校验，排除不符合格式要求的作业配置信息，减少无用信息处理，提升系统速度。

进一步，对所述作业配置信息进行解析，获取处理时间周期，并根据预设的时间周期阈值判断处理时间周期是否有效；

若判断结果为无效，则处理下一条作业；

若判断结果为有效，则读取结果集表，判断是否存在本周期未处理完的数据，若存在，则结束本次处理，处理下一条作业。

便于进行作业任务集群化管理与调度。

进一步，当作业配置信息符合要求且处理时间周期有效时，如果不存在本周期未处理完的数据，则将结果记录插入到结果集表，记录包含本作业的处理周期，并将处理状态置为初始状态，锁定该作业。

避免进行重复调度处理，浪费系统资源。

进一步，调度模块获取到反馈结果后，对作业调度结果集表进行更新，并将作业调度结果集表和作业配置信息分别存储于分布式内存数据库。

利用分布式内存数据库共享特性承载业务配置数据和结果数据，使调度监控服务更加可靠。进一步，所述Zookeeper服务器包括主用服务器和备用服务器，所述备用服务器用于当支撑集群中节点异常后，接管主用服务器进行工作，业务配置数据和结果集表分别承载于分布式内存数据库。

提高系统的容灾能力。

本发明还提供一种基于云系统的作业调度系统，包括：

Zookeeper服务器，用于提供注册服务，确认调度作业是否启用，所述Zookeeper服务器的Zookeeper服务为集群部署；

调度模块，用于通过作业调度配置表获取该待调度作业的处理作业列表，对待调度作业进行调度，所述调度模块为多个；

反馈模块，用于调度完成后将调度结果反馈给调度模块。

进一步，还包括：

校验模块，用于对作业调度配置表中的作业配置信息进行校验；

解析模块，用于对所述作业配置信息进行解析，获取处理时间周期，并根据预设的时间周期阈值判断处理时间周期是否有效；

若判断结果为无效，则处理下一条作业；

若判断结果为有效，则读取结果集表，判断是否存在本周期未处理完的数据，若存在，则结束本次处理，处理下一条作业。