[发明专利]一种基于资源负载预测的任务调度优化数据处理系统

权利要求书

1.一种基于资源负载预测的任务调度优化数据处理系统，其特征在于：所述系统包括：

数据采集模块，用于实现数据的采集和处理；

数据库模块，用于储存得到的数据并实现数据的读取；

资源负载采集模块，用于对节点的资源利用率进行采集；

任务调度模块，用于实现集群管理、监控、负载预测和UPSA任务调度策略；

数据可视化模块，用于对节点的历史负载数据进行可视化展现。

2.根据权利要求1所述的一种基于资源负载预测的任务调度优化数据处理系统，其特征在于：所述数据库模块包括数据库和时序数据库，所述时序数据库用于指处理带时间标签的数据，所述数据库用于储存得到的数据。

3.根据权利要求2所述的一种基于资源负载预测的任务调度优化数据处理系统，其特征在于：所述时序数据库为InfluxDB时序数据存储库，所述InfluxDB时序数据存储库采用LSM结构，在录入数据时，新的数据写入内存，当内存中的数据量达到一定阈值时将数据持久化到外部储存设备中。

4.根据权利要求3所述的一种基于资源负载预测的任务调度优化数据处理系统，其特征在于：时间序列数据采用delta-of-delta方式进行压缩，所述时间序列数据采用两个维度坐标来表示，其中，所述时间序列数据的横坐标表示时间，所述时间序列数据的纵坐标由数据源和监控指标组成，其中，所述数据源由一系列的数据标签唯一表示。

5.根据权利要求4所述的一种基于资源负载预测的任务调度优化数据处理系统，其特征在于：所述资源负载采集模块用于采集CPU、内存和IO相关的负载的指标，所述资源负载采集模块通过封装iostat工具实现对CPU和IO相关负载的指标的采集，所述资源负载采集模块通过封装free工具实现对内存指标的采集。

6.根据权利要求5所述的一种基于资源负载预测的任务调度优化数据处理系统，其特征在于：所述资源负载采集模块还包括历史负载数据储存器，所述历史负载数据储存器设置有CPU表、mem表和diskio表，所述CPU表用于记录各机器的CPU历史负载情况，所述mem表用于记录各机器内存使用情况，所述diskio表用于存储各机器的I/O历史负载。

7.根据权利要求6所述的一种基于资源负载预测的任务调度优化数据处理系统，其特征在于：所述任务调度模块包括工作量计算器、监控器和预测器，所述工作量计算器用于对任务的工作量进行计算，所述监控器用于对执行节点的负载信息进行收集，所述预测器用于对节点未来的I/O利用率进行预测。

8.根据权利要求7所述的一种基于资源负载预测的任务调度优化数据处理系统，其特征在于：将每个任务的执行分为n个步骤，通过公式计算每个任务的总共工作量，其中，COST_total为任务的总工作量；n为产生I/O的步骤数量；COST_IOn为第n个步骤产生IO的步骤开销，通过公式COST_IOn＝ENDCost_n-StartCost_n计算得到，其中StartCost为该步骤启动时的开销，EndCost为该步骤结束时的开销。

9.根据权利要求8所述的一种基于资源负载预测的任务调度优化数据处理系统，其特征在于：所述预测器的工作步骤包括：

建立随机森林预测模型，实现对节点负载的实时预测；

根据随机森林预测模型预测到的各节点负载情况进行任务分发；

当任务调度模块接收到新的任务后，工作量计算器实时对新任务的I/O开销进行估算，其伪代码为：

procedure receiveNewTask(Task t)

t.cost←getTaskCost(t)

addToTaskQueue(t)

end procedure。

10.根据权利要求9所述的一种基于资源负载预测的任务调度优化数据处理系统，其特征在于：负载数据可视化中负载数据包括：CPU折线图展现CPU分别处于空闲，等待I/O，用户模式，系统模式下的时间占比；内存使用情况；磁盘读写速率的变化；磁盘读写等待时间的情况；磁盘利用率的变化情况；请求队列长度变化情况。