[发明专利]集群计算资源调度方法、装置、设备及介质

说明书

本发明实施例公开了一种基于神经网络算法的集群计算资源调度方法、装置、设备及介质，该方法包括：提交任务；预处理任务，获取预处理信息；提取数据特征、任务特征、集群计算资源特征；运用神经网络算法计算预处理信息、数据特征、任务特征和集群计算资源特征，生成资源分配信息；根据资源分配信息运行任务，获取任务资源监控，日志特征提取，准确率验证；根据任务资源监控，日志特征提取，准确率验证训练神经网络模型；再次提交任务，多次重复以上操作，经训练后的神经网络模型计算后输出最终的集群计算资源调度方案。本发明实施例实现智能化、自动化的方法，提高了设备利用率和数据分析效率，降低了数据中心的能源消耗。

技术领域

本发明涉及软件、通讯、互联网、大数据行业领域，具体地涉及人工智能技术与大数据技术的综合应用技术领域，尤其涉及一种基于神经网络算法的集群计算资源调度方法、装置、设备及介质。

背景技术

在以Hadoop技术为主的生产集群中，理论上任务对计算资源的请求应该及时得到满足，但实际情况下集群的计算资源往往是有限的，当任务需要计算资源时经常需要排队等待，现有技术很难找到一个策略可以满足所有的应用场景。

现有的技术方案普遍使用Hadoop技术自带的调度器及策略，加上系统运维管理人员手工进行数据中心的计算资源的调度管理。系统管理员选定一种调度策略，然后根据租户的资源需求进行规划，提前预先创建所有已知的租户队列，同时设置好每个租户队列能够使用的计算资源的最小和最大值，然后强制要求各个租户提交任务时必须提交到指定的租户队列中，实现了各租户得到最小计算资源保障的同时又能进行资源隔离和限制。后期，系统管理员根据各租户的任务运行的效率，评估租户计算资源的合理性，进行数据中心计算资源参数的调整和优化，保障租户的任务稳定运行。

综上所述，现有技术和管理方法应用在多租户共享集群时存在以下几个缺点：租户任务优先级的需求与Hadoop调度策略的矛盾；资源预先分配导致资源使用的灵活性不足；过度的资源抢占导致任务运行效率低。现有技术只提供了基本的调度手段和方法，这不仅增加了数据中心运维的难度，同时因为都靠人为手工操作，也增加了出错的风险。数据中心迫切需要一种智能的、动态的、自动的、实时的资源管理与调度手段。

发明内容

本发明实施例提供了一种基于神经网络算法的集群计算资源调度方法、装置、设备及介质，用于解决现有技术中任务的资源分配不灵活，任务运行效率低，数据中心运维难，以及手工操作的问题，以达到智能的、动态的、自动的、实时的资源管理与调度。

第一方面，本发明实施例提供了一种基于神经网络算法的集群计算资源调度方法，方法包括：任务提交；

任务预处理，获取预处理信息；

提取数据特征、任务特征、集群计算资源特征；

运用神经网络算法计算预处理信息、数据特征、任务特征和集群计算资源特征，生成资源分配信息；

任务根据资源分配信息运行，获取任务资源监控，日志特征提取，准确率验证；

模型训练根据任务资源监控，日志特征提取，准确率验证训练神经网络模型；

任务再次提交，多次重复以上操作，经训练后的神经网络模型计算后输出最终的集群计算资源调度方案。

第二方面，本发明实施例提供了一种基于神经网络算法的集群计算资源调度装置，装置包括：

预处理模块，用于对任务预处理，获取预处理信息；

特征提取模块，用于提取数据特征、任务特征、集群计算资源特征；

神经网络计算模块，用于计算预处理信息、数据特征、任务特征和集群计算资源特征，生成资源分配信息；

任务运行模块，用于根据资源分配信息运行，获取任务资源监控，日志特征提取，准确率验证；