[发明专利]基于文件访问特性的分布式自适应存储方法及系统

说明书

本发明提出了一种基于文件访问特性的分布式自适应存储方法和系统，目的在于针对现有的分布式存储系统中存在的大小不同的冷热文件进行副本与纠删码的自适应混合存储策略，以此来提高集群的存储效率与性能。本发明的优点在于针对分布式系统中的不同类型文件的访问特性，通过文件的占据数据块的大小以及用户对文件的访问频率计算出的文件热度，使文件拥有较适合的存储方式。并且我们在每个周期都会依据文件的热度变化以及系统的整体存储效率来对文件进行自适应存储策略更改。最终以达到提高系统的性能，提高系统的整体存储效率。

技术领域

本发明涉及分布式计算领域以及分布式存储中数据存储策略技术领域，并特别涉及一种基于文件访问特性的分布式自适应存储方法及系统。

背景技术

随着大数据分布式文件系统的广泛使用以及日益增加的流行趋势，分布式存储系统的存储开销以及存储效率和数据可用性、持久性等问题也成为人们日益关注的问题。传统的三副本存储策略造成过大的存储开销，从而浪费存储资源。纠删码被认为是副本策略的最佳替代方案。

但是单一使用纠删码的数据存储，又会造成分布式系统访问性能的下降。因为纠删码相比于副本复制策略来说，不论是跨机架之间带宽的消耗，还是CPU/IO等资源的使用率，都要比副本存储的资源消耗高。所以副本与纠删码进行混合存储目前看来是分布式系统在存储与计算两方面综合考量较优的解决方法。

如果只是统一的采取简单的副本与纠删码的混合，而不考虑文件的访问特性，就会造成资源的浪费。分布式系统中存储着许多文件，有大文件也有小文件，大多数的文件都是大文件，其中大文件可能被划分为多个数据块，而小文件可能仅被划分为一到两个数据块。并且在分布式系统中文件的“热度”也不尽相同，不同文件的访问频率会有很大的差异，而对文件的访问频率进行统计之后，也就出现了热文件与冷文件之分。

例如以DECPA为代表的主要考虑文件大小的副本与RS混合存储，会出现以下技术问题：1)访问热度高的文件采用了RS纠删码的存储策略，从而造成用户频繁的访问文件，但是纠删码存储不足以支撑如此高频率的访问。2)访问热度低的文件采用了副本复制的存储策略，从而造成存储空间的严重浪费，使得系统的整体存储开销过高。

发明内容

具体来说本申请一种基于文件访问特性的分布式自适应存储方法，其中包括：

步骤1、获取分布式存储系统中各文件在预设周期内的平均访问频率，并根据该平均访问频率计算各文件的热度；

步骤2、根据当前周期内各文件的热度，将所有文件划分为热数据和冷数据，进一步根据每个热数据所占数据块数量，将所有该热数据划分为小热数据和大热数据，并根据每个冷数据所占数据块数量，将所有该冷数据划分为小冷数据和大冷数据；

步骤3、对该小热数据采用副本复制策略进行存储，对该大热数据采用LRC(6，2，2)编码方式进行存储，对该小冷数据采用RS(3，2)编码方式进行存储，对该大冷数据采用RS(6，3)来进行存储。

所述的基于文件访问特性的分布式自适应存储方法，其中包括：

步骤4、多次执行该步骤1，以周期性的统计各文件的热度，使用最新一个周期中的热数据，与上一周期的热数据进行文件比较，得到该最新一个周期新产生的新热文件，以及该上一周期中由热转冷的新冷文件；

步骤5、将新热文件的存储策略更改为LRC(6，2，2)编码或副本复制方式存储，将新冷文件的存储策略更改为RS(6，3)编码或RS(3，2)编码方式存储。

所述的基于文件访问特性的分布式自适应存储方法，其中该步骤4包括：判断当前该分布式存储系统的存储开销是否低于阈值，若是，则执行该步骤5，否则将当前最新一个周期中热数据热度排名末尾的文件转换为冷数据后，执行该步骤5。

所述的基于文件访问特性的分布式自适应存储方法，其中该步骤1包括：