[发明专利]批量作业的调度方法、装置、电子设备及存储介质

说明书

本申请提供了一种批量作业的调度方法、装置、电子设备及存储介质，其中，在本申请提供的批量作业的调度方法中，首先获取各个批量作业信息。然后将各个批量作业信息输入到预先构建的批量作业运行预测模型中进行运算，得到各个批量作业的运行时长，其中，批量作业运行预测模型预先根据历史批量作业运行数据构建得到。接着按照各个批量作业信息，对各个批量作业划分优先级。再结合各个批量作业的运行时长以及各个批量作业的优先级，对各个批量作业的运行顺序进行排序。然后获取各个计算节点的资源可用度。最后基于各个批量作业的运行顺序以及各个计算节点的资源可用度，对批量作业的运行进行调度。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种批量作业的调度方法、装置、电子设备及存储介质。

背景技术

随着大数据技术的发展，越来越多的行业重视到数据的重要性，大数据加工已经成为很多企业经营的基础。批量作业是企业科技的一项重要环节，如何有效的保证批量作业按时完成，不影响业务的开展已经成为批量运维工程师日常工作的重心。

而在现有技术中，在进行批量作业调度时，并没有一种很好的调度策略能够较准确地预测出批量作业的运行时长，从而对批量作业进行合理的调度，导致出现某些批量作业运行任务的失败率较大或者批量作业运行任务不能及时完成的问题。例如，当碰上业务高峰期的时候，待处理数据就会激增，此时如果不能根据各个批量作业的运行时长合理调度批量作业的运行，那么可能就会出现有些计算节点的资源消耗过于紧张，造成批量作业阻塞，而有些计算节点又处于空闲状态的情况。

发明内容

有鉴于此，本申请提供一种批量作业的调度方法、装置、电子设备及存储介质，以解决现有技术中不能准确地预测出批量作业的运行时长，从而对批量作业进行合理的调度，导致出现某些批量作业运行任务的失败率较大或者批量作业运行任务不能及时完成的问题。

为实现上述目的，本申请提供如下技术方案：

本申请第一方面公开了一种批量作业的调度方法，包括：

获取各个批量作业信息；

将各个所述批量作业信息输入到预先构建的批量作业运行预测模型中进行运算，得到各个所述批量作业的运行时长，其中，所述批量作业运行预测模型预先根据历史批量作业运行数据构建得到；

按照各个所述批量作业信息，对各个所述批量作业划分优先级；

结合各个所述批量作业的运行时长以及各个所述批量作业的优先级，对各个所述批量作业的运行顺序进行排序；

获取各个计算节点的资源可用度；

基于各个所述批量作业的运行顺序以及各个所述计算节点的资源可用度，对所述批量作业的运行进行调度。

可选的，上述的方法，所述批量作业运行预测模型的构建过程，包括：

获取所述历史批量作业运行数据；

利用皮尔逊相关系数对所述历史批量作业运行数据进行相关性分析，得到影响作业批量运行的影响因素；

基于所述影响因素，建立多个预测模型；

通过计算各个所述预测模型的平均绝对误差，筛选出最优预测模型，作为所述批量作业运行预测模型。

可选的，上述的方法，所述获取各个计算节点的资源可用度，包括：

对各个所述计算节点进行资源监测；

针对每一个所述计算节点，获取各个所述计算节点的资源消耗信息，其中，所述资源消耗信息包括磁盘信息、处理器信息以及正在运行的批量作业信息；

利用所述资源消耗信息，计算出每一个所述计算节点的资源可用度。