[发明专利]一种基于资源负载预测的任务调度优化数据处理系统

说明书

本发明涉及一种基于资源负载预测的任务调度优化数据处理系统；所述系统包括：数据采集模块，用于实现数据的采集和处理；数据库模块，用于储存得到的数据并实现数据的读取；资源负载采集模块，用于对节点的资源利用率进行采集；任务调度模块，用于实现集群管理、监控、负载预测和UPSA任务调度策略；数据可视化模块，用于对节点的历史负载数据进行可视化展现；本发明通过设置任务调度策略，并提前预测了各个节点的利用率，减小了各个节点之间的负载倾斜，提高了任务的执行效率，本发明通过建立随机森林预测模型，实现了自调度监控模块启动时就开始对节点负载进行实时预测。

技术领域

本发明涉及于大数据计算任务调度技术领域，尤其涉及一种基于资源负载预测的任务调度优化数据处理系统。

背景技术

随着信息技术的飞速发展，企业信息系统产生了大量的业务数据；如何有效地从这些海量业务数据中提取有用的信息以帮助企业决策分析，已成为企业管理层面临的挑战；数据处理的基本目的是从大量的、杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的领域来说有价值、有意义的数据；随着社会生产和社会生活的各个领域对数据处理的依赖越来越大，数据处理集群的硬件资源愈加容易成为瓶颈，从而使得任务执行的效率降低，服务质量下降。

现如今，单个处理节点的能力已经完全不能满足对数据处理效率的要求，大型应用开始使用集群来提高数据库的可靠性和数据库的性能，各大数据库厂商也争相研发高扩展性的数据库集群技术；虽然通过增加处理节点的数量能够大幅增加处理性能，但会增加企业的运营成本；不仅如此，由于对数据库的请求具有实时性，动态性的特点，并且每个请求任务对计算资源的消耗有可能差异很大，所以默认的任务调度策略可能会造成集群中负载分配不均、资源得不到充分利用甚至大幅影响任务的响应时间，破坏用户体验等严重后果，因此，对任务调度策略的研究已经成为了数据处理性能优化的研究热点。

发明内容

为了现有技术存在的上述技术缺陷，本发明提供了一种基于资源负载预测的任务调度优化数据处理系统，可以有效解决背景技术中的问题。

为了解决上述技术问题，本发明提供的技术方案具体如下：

本发明实施例公开了一种基于资源负载预测的任务调度优化数据处理系统，所述系统包括：

数据采集模块，用于实现数据的采集和处理；

数据库模块，用于储存得到的数据并实现数据的读取；

资源负载采集模块，用于对节点的资源利用率进行采集；

任务调度模块，用于实现集群管理、监控、负载预测和UPSA任务调度策略；

数据可视化模块，用于对节点的历史负载数据进行可视化展现。

在上述任一方案中优选的是，所述数据采集模块的功能包括：

(1)对数据进行采集，通过人员、设备和网络工具采集所需的信息；

(2)对数据进行转换，对与数据库内数据不一致的数据进行转换，将数据按照数据库粒度进行聚合以及商务规则的计算；

(3)按照数据的特征进行有效地分组；

(4)对采集到的信息进行算术和逻辑运算；

(5)将进行初步处理后的数据储存至数据库内；

(6)把数据列表按照规则排序。

在上述任一方案中优选的是，所述数据库模块包括数据库和时序数据库，所述时序数据库用于指处理带时间标签的数据，所述数据库用于储存得到的数据。

在上述任一方案中优选的是，所述数据库为外部储存设备。

在上述任一方案中优选的是，所述时序数据库为InfluxDB时序数据存储库。