[发明专利]一种基于电力领域超算平台的计算负载预测方法及系统

说明书

本发明公开了一种基于电力领域超算平台的计算负载预测方法及系统，通过对收集到的超算平台历史计算负载数据集进行数据预处理，数据预处理包括数据裁剪、空值处理、数据清理和数据归一化处理；将处理好的数据进行划分，一半作为训练集，一半作为测试集；在神经网络架构搜索模型上搜索最佳神经网络模型；将重新划分的数据集在搜索到的所述最佳神经网络模型上进行训练测试。本发明大大提高了神经网络架构搜索的速度和超算平台计算负载的预测准确率；对原始数据进行了预处理并提出了健康特征并对数据进行了随机掩码和随机噪声处理，提高了数据鲁棒性，可以产生更加有意义的特征表示。

技术领域

本发明涉及电力控制技术领域，尤其公开了一种神经网络架构搜索的电力领域超算平台的计算负载预测方法及系统。

背景技术

机器学习模型：机器学习模型种类繁多，包括回归模型、分类模型和聚类模型等等。需要根据具体问题选择合适的模型，如支持向量机、决策树、随机森林等。基于机器学习的模型是预测计算负载方法的研究热点。在计算负载预测中最具代表性的机器学习模型为线性回归模型。但是此类机器学习模型使用的前提是负载变化趋势在短期内必须是线性的。这大大限制了机器学习模型的使用范围。

深度学习模型：在计算负载预测中，目前最具代表性深度学习模型为卷积神经网络（convolutional neural network，CNN)，卷积神经网络是一种深度学习模型，通常用于图像识别、计算机视觉等任务。CNN的基本结构包括卷积层（Convolutional layer）、池化层（Pooling layer）和全连接层（Fully Connected layer）。其中卷积层是CNN的核心部分，它通过一系列卷积操作提取图像的特征。池化层通常跟在卷积层后面，用于降低特征图的维度，减少计算量，同时可以防止过拟合。全连接层则将特征图映射到输出空间中，得到最终的分类结果。CNN在计算负载预测上有着以下优势：处理序列数据能力强：收集到的历史负载可以被看做是一系列时间序列数据，卷积神经网络具有处理序列数据的能力，能够对这些序列数据进行分析和预测；可以自动提取特征：计算负载预测需要从大量的数据中提取特征，而传统的方法需要手工设计特征提取器，费时费力且效果不一。卷积神经网络可以通过卷积操作自动提取特征，减少了特征工程的复杂度；对异常数据具有较强的鲁棒性。卷积神经网络在训练过程中可以通过dropout等技术对数据进行正则化，提高对异常数据的鲁棒性。

因此，现有计算负载预测方法需要专业的人员耗费大量的时间设计预测超算平台计算负载的神经网络模型，而人工设计的神经网络模型复杂，实现过程困难导致评估过程运行时间过长，是目前亟待解决的技术问题。

发明内容

本发明提供了一种基于电力领域超算平台的计算负载预测方法，旨在解决有计算负载预测方法需要专业的人员耗费大量的时间设计预测超算平台计算负载的神经网络模型，而人工设计的神经网络模型复杂，实现过程困难导致评估过程运行时间过长的技术问题。

本发明的一方面涉及一种基于电力领域超算平台的计算负载预测方法，包括以下步骤：

对收集到的超算平台历史计算负载数据集进行数据预处理，数据预处理包括数据裁剪、空值处理、数据清理和数据归一化处理；

将处理好的数据进行划分，一半作为训练集，一半作为测试集；在神经网络架构搜索模型上搜索最佳神经网络模型；

将重新划分的数据集在搜索到的最佳神经网络模型上进行训练测试。

进一步地，对收集到的超算平台历史计算负载数据集进行数据预处理的步骤包括：

将收集到的历史计算负载数据加载到服务器中；

裁剪历史计算负载数据，保证数据的连续性；

对裁剪后的历史计算负载数据进行相关性分析；

在裁剪后的历史计算负载数据中选取多组相关性最强的健康特征数据；