[发明专利]大规模虚拟化环境中任务调度的优化方法及优化系统

说明书

技术领域

本发明涉及一种大规模虚拟化环境中任务调度的优化方法及优化系统。

背景技术

虚拟化环境中存在大量的需要周期性执行的管理任务，如虚拟机的启动停止、配置参数的变更检测、主机及应用系统的异常检测、性能指标采集与分析、数据备份及超期数据的清理等。

类UNIX系统中的crond程序可以实现任务的定时执行，但是采用纯文本方式定义管理，不便于任务的定义、检索、及运行监控，对于任务的执行缺乏精细控制。

对于任务的并发执行没有额外控制，大批量任务并发时对系统资源冲击很大，可能造成系统短时没有响应。

对于任务的执行时限没有控制，可能会出现任务进程的无限期挂起，持续耗费系统资源而失去控制。

任务没有优先级的概念，所有任务优先级相同，不能区分任务的权重。

所有任务的日志信息混杂在一起，难以跟踪。

不便于实时直观监控任务的运行状态，可以通过ps命令查看进程的运行状态，但是不能与任务定义时的描述信息关联。

对于分散在多个主机执行的任务，不能集中监控与跟踪。

发明内容

本发明的目的就是为了解决上述问题，提供大规模虚拟化环境中任务调度的优化方法及优化系统，它具有实现任务的集中管理与分布式执行，实现虚拟化环境中相关任务的管理优化，包括任务的集中管理、并发时的平滑控制、执行时限控制、优先级定义、运行监控、自我诊断等，为任务管理提供一个友好高效的操作界面的优点。

为了实现上述目的，本发明采用如下技术方案：

大规模虚拟化环境中任务调度的优化方法，包括如下步骤：

步骤(1)：任务信息在数据库中定义：在数据库中集中定义虚拟化环境中的多个主机管辖的任务信息，所述任务信息包括任务的归属主机和任务的优先级属性；

步骤(2)：数据库任务信息装载：按需执行，从数据库中提取任务信息并将提取出的任务信息装入任务信息共享内存；

步骤(3)：基础框架运行：创建进程管理共享内存，搭建基础平台支撑上层调度进程及任务进程的运行；调度进程执行任务时，通知平台进程，由平台进程从进程管理共享内存中查找空闲的槽位，并创建一个子进程作为任务进程；

步骤(4)：任务调度：负责调度各个任务的周期性运行；定期从任务信息共享内存中读取任务的配置信息，检测各个任务的调度周期，对于需要调度执行的任务，绑定任务指定的优先级放入调度队列；全部任务检查完毕后，按照任务优先级由高到低依次读取队列中需要执行的任务，通知平台进程增加一个相应的任务进程，触发任务对应的执行程序的运行，任务进程执行时记录起止时间与执行结果，调度进程并不等待任务进程执行结束；

步骤(5)：任务汇总：每台执行任务调度的主机运行一个代理进程；任务汇总进程定期执行，逐一向每台主机上的代理进程索要每台主机的任务信息共享内存的全部数据，放入本地缓存；全部信息索要完毕后一并装入任务信息汇总共享内存中，最后释放本地缓存；

步骤(6)：运行监控：从任务信息汇总共享内存中提取任务配置数据及运行信息，能够实时查看任务调度整体运行信息以及每个任务的配置及运行信息。

所述优化方法还包括自我诊断步骤：后台常驻执行，实时检测各个进程的运行状态，对于执行持续时间超过设定时限的任务进程，强行杀死，避免任务进程的无限期挂起，确保任务的执行可控。根据进程管理共享内存中记录的每个任务进程的进程ID，判断调度进程存活与否，如果调度进程异常终止则予以重新启动，确保整个调度工作持续稳定运行。

所述步骤(1)的虚拟化环境中的每台主机都能够加载自己的任务信息共享内存，装载自己管辖的任务，并启动任务调度周期执行，从而实现任务调度的分布式执行。

所述步骤(3)中：

所述平台进程通过UDP通信机制等待用户操作指令、调度进程或诊断进程的通知，作为调度进程及每个任务进程的父进程；UDP是一种通信协议，UDP是User Datagram Protocol的简称，中文名是用户数据报协议；

所述进程管理共享内存划分为多个槽位，基础框架之上运行的每个进程占用其中一个槽位，所述槽位用于存放任务编号、进程ID、用户ID、组ID、执行时间和执行时限信息，调度进程固定占用第一个槽位。

所述步骤(4)的步骤为：

步骤(4-1)：任务调度开始，获取当前时间；对任务信息共享内存加锁，连接任务信息共享内存；读取任务信息共享内存中全部数据，放入本地缓存；对任务信息共享内存解锁，断连任务信息共享内存；