[发明专利]一种基于文件访问热度的HDFS副本管理方法

权利要求书

1.一种基于文件访问热度的HDFS副本管理方法，其特征在于，包括以下步骤：

步骤1：基于文件访问热度计算文件的副本数量；

步骤1.1：根据文件访问日志表，统计一段时间间隔time内的文件访问次数，确定文件访问热度；

步骤1.2：建立矩阵形式的时间序列和文件访问热度的对应关系的时间序列文件A；

步骤1.3：逐行提取时间序列文件A中文件f_v的访问热度，进行时间序列分析，对时间序列进行单根检验，判断所提取的文件的访问热度序列是否稳定，若是，执行步骤1.4，否则，执行步骤1.5；

步骤1.4：对平稳的时间序列进行ARMA模型匹配定阶，执行步骤1.6；

步骤1.5：对非稳定的时间序列进行ARIMA模型匹配定阶，执行步骤1.6；

步骤1.6：采用时间序列方法预测下一时刻文件f_v的访问热度；

步骤1.7：采用向上取整方式预测文件f_v的副本个数当预测的文件的副本个数小于等于3时，保持该预测文件的副本数为3，若预测的文件的副本个数大于3时，增加该预测的文件的副本个数为

步骤1.8：若预测的文件的副本个数增加，则执行步骤2；否则，执行步骤3；

步骤2：基于多文件访问关联性对预测的热点文件进行动态副本放置；

步骤2.1：根据文件访问日志表，计算任意两个文件f_i和f_j的访问关联度cor(f_i，f_j)；

步骤2.2：以具有访问关联性的副本放置后总的通信代价最小、同一文件的副本放置在通信代价较大的节点上为优化目标，构建考虑多文件访问关联性的热点文件动态副本放置问题的数学模型；

步骤2.3：基于改进遗传算法求解热点文件动态副本放置问题的数学模型，得到最优的副本放置方案Y；

步骤3：根据需要删除副本的文件对副本进行删除操作；

步骤3.1：根据需要删除副本的文件V，通过文件信息表，获得需要删除副本的文件V所有不同副本的集合VRC；

步骤3.2：对集合VRC中的副本文件按照访问热度从低到高排序；

步骤3.3：删除集合VRC中访问热度最低的文件副本；

步骤3.4：判断目前集合VRC中的副本个数是否减少到所预测的副本个数，若是则停止；否则返回步骤3.3。

2.根据权利要求1所述的基于文件访问热度的HDFS副本管理方法，其特征在于，所述文件f_v的访问热度公式如下所示：

其中，为一段时间间隔time内的文件f_v访问次数，λ为访问次数的经验临界值。

3.根据权利要求1所述的基于文件访问热度的HDFS副本管理方法，其特征在于，所述时间序列文件A的逻辑结构表示为Log＝row，T，D，f_v，其中，T＝{t₁，t₂，t₃，...t_x}为时间序列，x为访问热度观测时刻，row为时间序列文件中的行号，为文件访问热度集合，f_v为文件名称。

4.根据权利要求1所述的基于文件访问热度的HDFS副本管理方法，其特征在于，所述预测的文件f_v的副本个数的计算公式如下所示：

其中，为经验值常量，为向上取整符号。