[发明专利]一种大数据运算任务调度和监控系统及方法

说明书

本发明公开了一种大数据运算任务调度和监控系统及方法，涉及人工智能技术领域，该系统包括任务数据调度引擎、任务所需数据AI评估模块、任务最优执行AI评估模块等；任务所需数据AI评估模块利用预测模型，基于当前被调度的任务所需数据源的数据，对最新数据量进行预测估计，获得数据评估结果；任务最优执行AI评估模块利用稀疏自编码器，基于任务执行服务器模块的已占用资源数据和可用资源数据以及执行任务所需占用的资源数据，对执行当前被调度的任务的任务执行服务器模块进行最优运行评估，获得运行评估结果；任务数据调度引擎根据数据评估结果和运行评估结果下发任务。本发明具有运算效率高、完成率高、准确率高的优点。

技术领域

本发明涉及人工智能技术领域，具体涉及一种大数据运算任务调度和监控系统及方法。

背景技术

在大数据时代，产生的数据呈爆炸式增长，由此大数据技术应运而生，同时资源调度面临巨大挑战。每天需要调度的实例非常多，达到百亿级别，调度是一个非常难的问题，需要平衡各方面，例如提升使用效率时会牺牲公平性和实时性。为了达到最好的调度效果，需要对资源和需求CPU、Disk、Memory等进行分析，并实时统计相关信息。在资源调度的基础上执行大数据运算任务是一种目前常用的数据处理方式，但是执行大数据运算任务通常存在以下缺陷：

1.时常会占用大量服务器资源，在运算过程中时常会出现因服务器资源不足导致的运行时间过长，严重的时候会导致任务超时执行而失败。

2.时常会有要执行的大数据运算任务依赖于上游的数据，如果上游的数据不完整，会导致整个大数据运算任务的不完整或不准确，需要全部重新计算。这样既浪费了运算资源，又延长了运算结果的获取时间。并且甚至会因数据接收人员检查不及时，而导致后续也使用了错误数据，造成严重后果。

3.时常会有要执行的大数据运算任务依赖于某些接口，因接口不同或接口提供的数据有问题，而导致任务执行失败或运算结果错误。

4.时常会有负责人员没能及时发现任务执行失败或未及时重启任务，会导致不能及时获取到准确的运算结果，从而影响后续的工作。

发明内容

因此，为了克服上述缺陷，本发明实施例提供一种大数据运算任务调度和监控系统及方法。

为此，本发明实施例的一种大数据运算任务调度和监控系统，包括：任务接口模块、任务管理模块、任务数据调度引擎、任务所需数据AI评估模块、任务最优执行AI评估模块、任务执行服务器模块和任务监控模块；

任务接口模块，用于向上层系统发送定义的任务模板并接收上层系统根据所述任务模板对每个任务进行转换后发送的包含所述任务模板信息的单个任务或由两个以上任务组成的复杂任务并输出，所述模板包括任务编号、任务所需数据源、任务优先等级、任务前依赖编号、任务后依赖编号；

任务管理模块，用于接收所述任务接口模块输出的所述单个任务或所述复杂任务，根据任务编号、任务优先等级、任务前依赖编号和任务后依赖编号建立任务计划表，当获取到任务数据调度引擎输出的任务调度指令时根据任务计划表输出当前被调度的任务或生成任务调度空闲消息并输出；接收任务执行服务器模块输出的执行完成消息和任务执行结果，将所述任务执行结果输出给上层系统；

任务数据调度引擎，用于根据获取到的任务执行服务器模块输出的任务处理请求，生成任务调度指令并输出，获取任务管理模块响应所述任务调度指令所输出的当前被调度的任务；根据所述当前被调度的任务控制任务所需数据AI评估模块进行预测估计并获取数据评估结果，根据所述数据评估结果进行是否满足任务运行条件的判断；当判断满足任务运行条件时，控制任务最优执行AI评估模块进行最优运行评估并获取运行评估结果，获得执行所述当前被调度的任务最佳的一组任务执行服务器模块；根据所述运行评估结果向所述最佳的一组任务执行服务器模块下发所述当前被调度的任务；当判断不满足任务运行条件时，将所述当前被调度的任务挂起，并生成所述当前被调度的任务的挂起消息并输出；