[发明专利]一种大数据运算任务调度和监控系统及方法

权利要求书

1.一种大数据运算任务调度和监控系统，其特征在于，包括：任务接口模块、任务管理模块、任务数据调度引擎、任务所需数据AI评估模块、任务最优执行AI评估模块、任务执行服务器模块和任务监控模块；

任务接口模块，用于向上层系统发送定义的任务模板并接收上层系统根据所述任务模板对每个任务进行转换后发送的包含所述任务模板信息的单个任务或由两个以上任务组成的复杂任务并输出，所述模板包括任务编号、任务所需数据源、任务优先等级、任务前依赖编号、任务后依赖编号；

任务管理模块，用于接收所述任务接口模块输出的所述单个任务或所述复杂任务，根据任务编号、任务优先等级、任务前依赖编号和任务后依赖编号建立任务计划表，当获取到任务数据调度引擎输出的任务调度指令时根据任务计划表输出当前被调度的任务或生成任务调度空闲消息并输出；接收任务执行服务器模块输出的执行完成消息和任务执行结果，将所述任务执行结果输出给上层系统；

任务数据调度引擎，用于根据获取到的任务执行服务器模块输出的任务处理请求，生成任务调度指令并输出，获取任务管理模块响应所述任务调度指令所输出的当前被调度的任务；根据所述当前被调度的任务控制任务所需数据AI评估模块进行预测估计并获取数据评估结果，根据所述数据评估结果进行是否满足任务运行条件的判断；当判断满足任务运行条件时，控制任务最优执行AI评估模块进行最优运行评估并获取运行评估结果，获得执行所述当前被调度的任务最佳的一组任务执行服务器模块；根据所述运行评估结果向所述最佳的一组任务执行服务器模块下发所述当前被调度的任务；当判断不满足任务运行条件时，将所述当前被调度的任务挂起，并生成所述当前被调度的任务的挂起消息并输出；

任务所需数据AI评估模块，用于在任务数据调度引擎的控制下利用预测模型，基于所述当前被调度的任务的任务所需数据源的数据，对最新数据量进行预测估计，获得数据评估结果并输出；

任务最优执行AI评估模块，用于在任务数据调度引擎的控制下利用稀疏自编码器，基于任务执行服务器模块的已占用资源数据和可用资源数据以及执行任务所需占用的资源数据，对执行所述当前被调度的任务的任务执行服务器模块进行最优运行评估，获得运行评估结果并输出；

任务执行服务器模块，用于根据当前运行状态生成任务处理请求并输出；获取任务数据调度引擎输出的所述当前被调度的任务并执行；当任务执行完成时生成执行完成消息并输出，获得任务执行结果并输出；

任务监控模块，用于当获取到任务管理模块输出的任务调度空闲消息时生成任务调度空闲提示消息并输出；当获取到任务数据调度引擎输出的挂起消息时生成挂起提示消息并输出。