[发明专利]面向云端多数据中心的负载预测方法、资源调度方法及装置

说明书

本发明公开了一种面向云端多数据中心的负载预测方法，包括以下过程：获取记录每一个时间点虚拟机资源使用情况的日志记录文件，从中提取所需要的特征量数据和历史负载数据；并将特征量数据和历史负载数据转换为相应的输入特征序列和历史负载向量；利用预先构建的神经网络模型计算得到负载预测的非线性分量；利用预先构建的自回归模型计算得到负载预测的线性分量；整合负载预测的非线性分量和线性分量得到最终的负载预测结果。本发明综合考虑多数据中心环境下，负载序列的随时间变化的线性趋势和非线性特征，将神经网络模型与自回归模型的统计学习方法相结合，可以有效提升对未来负载预测精度。

技术领域

本发明具体涉及一种面向云端多数据中心的负载预测方法，还涉及一种面向云端多数据中心的资源调度方法，属于云计算和数据挖掘技术领域。

背景技术

云计算技术的不断增长计算需求促使云数据中心规模的持续扩张，预计 2022年底，国内数据中心业务市场规模将增长至3200亿元，其规模结构也由单一的数据中心向云端多数据中心转变。为了实现绿色节能发展，需要数据中心具备动态调节其内部资源分配的决策能力，整合计算资源实现服务弹性。有效的负载预测是实现资源弹性分配的前提条件，可以为高质量的扩展方案提供决策参考。因此基于当前云端多数据中心的环境，结合负载特征建立合适的负载预测模型具有重要意义。

工作负载是与上下文密切关联的时间序列问题，然而大多数负载预测的研究仍停滞在单一数据中心范围内。相比于传统的单一数据中心，多数据中心资源调度拓展能力更强，业务部署也更加灵活，负载变化受用户行为驱动的影响更加突出。这导致了各自所需要的计算资源需求是动态变化的，不同数据中心的负载波动趋势也存在较大差异性，使得面向云端多数据中心的负载预测需要结合各数据中心的具体情况进行建模分析，不能仅仅依靠原有的面向单一数据中心的算法。

有鉴于此，确有必要提出一种面向云端多数据中心的负载预测方法与资源分配器系统，以解决上述问题。

发明内容

本发明的目的在于克服现有技术中的不足，提供了一种面向云端多数据中心的负载预测方法，将神经网络模型与自回归模型相结合预测服务器上未来的负载变化的非线性分量和线性分量，提高负载预测结果的准确度。

为解决上述技术问题，本发明的技术方案如下。

第一方面，本发明提供了一种面向云端多数据中心的负载预测方法，包括以下过程：

获取记录每一个时间点虚拟机资源使用情况的日志记录文件，从中提取所需要的特征量数据和历史负载数据；并将特征量数据和历史负载数据转换为相应的输入特征序列和历史负载向量；

基于获得的输入特征序列和历史负载向量，利用预先构建的神经网络模型计算得到负载预测的非线性分量；

基于获得的历史负载向量，利用预先构建的自回归模型计算得到负载预测的线性分量；

整合负载预测的非线性分量和线性分量得到最终的负载预测结果。

可选的，所述特征量包括：采样记录时间、虚拟机内核数配置、CPU容量、虚拟机的内存配置容量、虚拟机内存的有效使用量、磁盘读取吞吐量、磁盘写吞吐量、网络接收吞吐量和网络传输吞吐量；所述负载指CPU有效使用量。

可选的，所述将特征量数据转换为相应的输入特征序列，包括：

利用滑动窗口对特征量数据进行切分，形成时间步长固定的时间序列，作为输入特征序列。

可选的，所述神经网络模型包括：编码器、解码器以及多层感知机网络；其中，编码器的输入为采集到的输入特征序列，解码器的输入为上层编码器输出的自适应提取的输入特征序列，多层感知机网络的输入为解码器输出的文本向量。

可选的，所述基于获得的输入特征序列和历史负载向量，利用预先构建的神经网络模型计算得到负载预测的非线性分量，包括：