[发明专利]一种大数据系统实时服务参数自适应调整方法

说明书

本发明公开了一种大数据系统实时服务参数自适应调整方法，其特征在于：包括采集系统资源使用监控记录；基于Elman神经网络建立系统资源使用预测模型；对系统资源使用预测模型的训练和预测，获得所需的资源负荷预测值；根据资源使用预测值，自动调整系统实时服务参数。本发明通过深度学习方法训练系统资源使用的预测模型，预测的资源变化量，基于资源使用量与服务参数之间的关系，实现对系统服务参数的自适应调整。

技术领域

本发明涉及大数据处理技术领域，尤其是一种大数据系统实时服务参数自适应调整方法。

背景技术

随着信息技术的发展，信息化程度的不断提高，系统越来越复杂，管理平台往分布式的结果发展，随着信息技术的发展，信息化程度的不断提高，系统越来越复杂，管理平台往分布式的结果发展。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。在分布式的结构的系统中，分布式大数据系统配置效率非常重要。

在大数据系统中，由于对资源的需求不清楚，系统配置的参数无法将系统资源进行合理配置，从而造成系统性能差，严重影响系统的工作。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种大数据系统实时服务参数自适应调整方法，通过对资源使用的预测，对服务参数进行调整，从而合理配置资源，提高大数据系统的工作性能。

本发明采用的技术方案如下：

本发明一种大数据系统实时服务参数自适应调整方法，包括采集系统资源使用监控记录；基于Elman神经网络建立系统资源使用预测模型；对系统资源使用预测模型的训练和预测，包括以下步骤：S1：利用固定尺寸重叠滑动窗口技术从系统资源使用监控记录数据中提取资源负荷子序列集；S2：使用聚类算法将资源负荷子序列集按照最优个数分成若干类，放置在不同的聚类簇中；S3：输入当前的资源负荷数据，并将该数据和已有的聚类簇的数据进行似然度计算，提取具有与当前资源负荷数据具有最大似然度的聚类簇；S4：将聚类簇的资源负荷子序列集输入到Elman神经网络预测模块中对其进行训练和预测，获得所需的资源负荷预测值；根据资源使用预测值，自动调整系统实时服务参数。

进一步，所述S2中聚类簇的最优个数的计算方法：

S21：利用AIC准则计算聚类对应的最高后验概率P(M/X)的值，式中，d为HMM模型M参数空间中所有参数的总数，N为所给数据个数的总和，为数据xi属于第k个聚类的隶属度，Pk是混合模型中每个HMM模型的先验概率；

S22：AIC准则通过权衡对数似然项和复杂度惩罚项来确定最佳聚类个数。