[发明专利]基于用户访问量以及预测机制的动态副本文件访问方法

说明书

本发明请求保护一种基于用户访问量和预测机制的动态文件副本访问方法，每间隔一个周期就会根据需求来增加或者删除文件副本，包括：设置一个文件访问响应时间阈值t_d，求取出文件当前周期的副本个数；考虑文件下一周期的访问量趋势，判断副本个数的变化是否同当前周期一致，增加或者删除副本。在选取存储节点集合进行副本添加或删除时，动态地通过粒子群算法，选取最优的节点集合来放置文件副本的位置。本发明实现降低文件的访问延迟、减少文件的增删频率等目标。同时利用粒子群算法动态确定副本增删的存储结点集合，使得增删文件后，系统处于负载均衡以及文件高可靠性的状态。

技术领域

本发明属于大数据存储系统技领域，具体是一种动态副本文件访问方法。

背景技术

随着互联网用户的增多，“大数据”挑战也随之而来。目前数据的规模已经达到了TB级甚至是PB级，这使得数据的维护以及处理变得越来越困难。云计算作为一种新兴的商业计算模式顺应产生，被广泛应用于大数据领域，为用户提供基础设施即服务(IaaS)、平台即服务(PaaS)、软件即服务(SaaS)等各种服务。其中云储存是云计算的存储部分，它将大量类型各异的廉价的存储设备通过网络连接成存储资源池，并将存储和数据服务以统一的接口按需提供给授权用户，具有超大规模、高可扩展性等特点。

在存储系统中，常使用多副本技术以及节点故障自动容错技术来保证文件的高可靠性和可用性。多副本技术是指将一个文件复制多份，并分别存放在不同的存储节点，既避免了由于存储节点发生故障导致文件无法访问的情况，同时也避免由于高访问量造成用户访问延迟的增加。目前副本技术策略大致可以分为静态副本技术和动态副本技术。采用静态副本技术时，每个文件副本数都是固定的，HDFS中通常为3。在静态副本技术中，在高访问量的时候，过少的副本会增加文件的访问延迟；而在低访问量的时候，过多的闲置副本又会导致资源的浪费。动态副本技术则根据用户的需求、带宽等变化来动态地改变文件的副本数。因此相比于静态副本技术，动态副本技术更为常用。

尽管很多科研人员都在研究如何有效的动态的控制文件副本数，才能有效地实现提高文件的可用性、降低文件访问时延以及均衡系统负载等目标，但他们往往忽略了在磁盘上频繁增删文件带来的后果：存在在某一周期时，系统为文件增加了多个副本，而在下一周期时需要删除文件的多个副本，或者先删后增，频繁删除过大的文件时，会对磁盘造成一定的损害。为了降低文件创建和删除的频率，本发明将动态副本技术和预测机制结合在一起，降低文件的访问延迟，同时减少文件的增删频率。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种降低文件的访问延迟，同时减少文件的增删频率，提高大数据文件的处理效率的基于用户访问量以及预测机制的动态副本文件访问方法。本发明的技术方案如下：

一种基于用户访问量以及预测机制的动态副本文件访问方法，其特征在于，包括以下步骤：

101、预先设置一个文件访问的响应时间阈值t_d，求取出在响应时间阈值t_d下存储节点所能处理的文件的最大访问量，从而求取出当前周期文件所需要的副本个数；

102、根据文件的历史访问记录，预测出文件下一周期的访问量，并根据步骤101动态求取出文件当前周期与下一周期的副本个数，并求取出文件的最佳副本个数；

103、在选取存储节点集合进行副本添加或删除时，动态地通过粒子群算法，选取最优的节点集合来放置文件副本的位置；

步骤101中求取出在响应时间阈值t_d下存储节点所能处理的文件的最大访问量包括步骤：

(1)设置响应时间阈值t_d；

(2)根据文件发送时间公式计算出节点所能处理的文件的最大访问量；

(3)根据用户访问量，求取文件的最佳副本个数；