[发明专利]基于文件访问热度的动态HDFS副本个数计算方法

摘要

本发明提供一种基于文件访问热度的动态HDFS副本个数计算方法，涉及数据分析技术领域。基于文件访问热度的动态HDFS副本个数计算方法，首先通过改进的马尔可夫模型分析得到热点文件的访问热度随时间变化的规律，并根据文件访问热度的计算公式，对文件的访问热度进行预测。然后采用排队论算法，给出副本个数的计算公式，动态调整热点文件的副本个数。本发明提供的基于文件访问热度的动态HDFS副本个数计算方法，解决了对热点文件的访问瓶颈的问题，提高了集群的服务效率。

主权项

1.一种基于文件访问热度的动态HDFS副本个数计算方法，其特征在于：包括以下步骤：步骤1、根据分布式文件系统HDFS上文件访问日志表并按照文件访问热度的计算公式计算得到统计周期内各文件的访问热度，并按统计时间内文件的访问热度之和对文件进行降序排序，选择排序列表中的前20％的文件作为热点文件，构建热点文件‑访问热度序列作为待预测序列，进行访问热度的预测；步骤2、采用层次聚类算法对热点文件‑访问热度序列进行状态空间划分；步骤3、对划分了状态空间的热点文件‑访问热度序列进行马氏性检验，如果满足马氏性，将该序列作为改进马尔可夫模型的输入序列，否则该序列不能用改进的马尔可夫模型来处理；步骤4、将满足马氏性的热点文件‑访问热度序列作为改进马尔可夫模型的输入序列，预测下一时刻热点文件的访问热度，并将预测得到的访问热度写入到热点文件‑访问热度数据库表中；步骤5、基于M/M/r单队列多服务台的队列模型对副本访问请求进行建模，并在此基础上设置节点上副本的吞吐量来确定副本的个数。