[发明专利]一种预测设备集群的硬件资源利用率的方法及装置

说明书

一种预测设备集群的硬件资源利用率的方法及装置，用于提高预测设备集群的硬件资源利用率的精准度。包括：预测设备获取第一设备集群的性能特征库，性能特征库包括第一设备集群包括的一个设备处理数据的不同阶段中，每个阶段的不同轮包含不同任务数量时所需的执行时长，以及设备在空闲态和运行任意一个任务时的资源开销；预测设备基于所述执行时长，预测第二设备集群中每个设备在处理数据过程中执行不同阶段分别被分配到的任务时所需的实际执行时长；预测设备基于所述实际执行时长、资源开销及第二设备集群的配置参数，预测第二设备集群的硬件资源利用率；其中，第二设备集群为基于第一设备集群扩容得到的虚拟仿真集群。

技术领域

本申请涉及计算机领域，尤其涉及一种预测设备集群的硬件资源利用率的方法及装置。

背景技术

随着科学技术和互联网的发展，现代社会的信息量迅速增长，这些信息积累着大规模的数据，这些数据中将会有部分数据存储在云平台中或借助云平台进行处理。借助海杜普Hadoop，用户在不了解分布式底层细节的情况下，通过编写分布式并行程序，并将其运行在由多个设备组成的设备集群上，以高效地存储、管理和分析这些存储在云平台中的数据。

Hadoop是一个能够对大量数据进行分布式处理的软件框架，其最底部是分布式文件系统(Hadoop Distributed File System，HDFS)，通过采用分布式存储方式来进行海量数据存储，以提高数据的读写速率，并扩大存储容量，HDFS的上一层是映射简化(MapReduce)引擎，是通过Map和Reduce两个步骤对HDFS中国的海量数据进行并行处理，以保证分析和处理数据的高效性。正是由于Hadoop突出的优势，Hadoop在许多领域中被广泛应用，但是在应用的过程中，一些问题也随之产生，例如，为方便客户做投资决策，降低投资风险误差，或为方便地对计算机集群的相关参数进行优化，在对小规模的设备集群进行扩容得到大规模的设备集群之前，需要对待搭建的大规模设备集群的硬件资源利用率进行预测。

而目前，一般基于算法和架构原型验证对设备集群在扩容后的硬件资源利用率预测，仅能实现功能仿真或定性预测，无法做到定量预测。所以，现有技术中对设备集群在扩容后的硬件资源利用率的预测的精准度较低。

发明内容

本申请实施例提供一种预测设备集群的硬件资源利用率的方法，用于提高预测设备集群在扩容后的硬件资源利用率的精准度。

第一方面，本申请实施例提供了一种预测设备集群的硬件资源利用率的方法，该方法包括：预测设备获取第一设备集群的性能特征库，所述性能特征库包括所述第一设备集群包括的一个设备处理数据的不同阶段中，每个阶段的不同轮包含不同任务数量时所需的执行时长，以及所述设备在空闲态和运行任意一个任务时的资源开销；所述预测设备基于所述执行时长，预测第二设备集群中每个设备在处理数据过程中执行不同阶段分别被分配到的任务时所需的实际执行时长；所述预测设备基于所述实际执行时长、所述资源开销及所述第二设备集群的配置参数，预测所述第二设备集群的硬件资源利用率；其中，所述第二设备集群为基于所述第一设备集群扩容得到的虚拟仿真集群。

在本申请实施例中，首先获取第一设备集群的性能特征库，然后根据性能特征库中包括的执行时长，定量预测第二设备集群中每个设备在处理数据过程中执行不同阶段分别被分配到的任务时所需的实际执行时长，进而根据实际执行时长、性能特征库中包括的资源开销以及第二设备集群的配置参数，实现对第二设备集群的硬件资源利用率的定量预测，从而提高预测第二设备集群的硬件资源利用率的精准度。

在一个可能的设计中，所述不同阶段包括：设备执行数据映射操作的第一阶段；设备执行数据洗牌操作和合并操作的第二阶段；设备执行数据化简操作的第三阶段。

在本申请实施例中，不同阶段的划分可能有不同的形式，且以上几种只是举例，在本申请实施例中对不同阶段中具体包括哪几个阶段不作限制。