[发明专利]一种缓存策略写入分层硬件架构下的写性能优化方法

说明书

本发明公开了一种缓存策略写入分层硬件架构下的写性能优化方法，根据卷的数据分层控制算法将存储层分层；将HDD与SSD作为磁盘管理器中的目标设备，聚合成为虚拟设备Cache存储器，同时将HDD与SSD区块进行映射；根据区块映射将对HDD的操作转换为对SSD的操作，实现将热点数据存储在SSD中的功能。本发明重点在Cache加速方面对写性能进行优化，当数据量超过存储容量阈值范围，进行冷热数据的存储置换，形成多层多级互动存储趋势，并实时动态整合资源信息，在保障数据安全性、一致性前提下，在物理存储与非易失高速存储中实现最大限度的性能提升。同时用户可以很方便的根据自己的需要制定实现存储资源的管理策略。

技术领域

本发明属于大数据存储技术领域，具体涉及一种缓存策略写入分层硬件的写性能提升方法。

背景技术

近年来，随着大数据、云计算等新兴技术的不断发展，全球范围内的数据急剧增长，对存储的容量与性能提出了严峻挑战。分布式文件系统作为支持大数据时代的底层的海量数据存储系统成为研究的热点。数据读写是分布式文件系统提供的两个基础操作，分布式文件系统的读取操作的性能由于内存、SSD等物理介质读性能极高，且读操作无须考虑数据安全性，其研究热度相较写操作优化没有受到广泛关注。

分布式文件系统在写入数据过程中，需要解决分布式架构带来的写入数据一致性与系统整体性能的矛盾，成为近年来分布式存储领域的重点关注问题。存储领域最为重要的学术会议FAST在15、16年度以专题形式对写优化文件系统主题进行报道，其中内存加速的写优化对于大幅提升系统性能具有支撑作用，如何保障数据存储安全的前提下，有效利用写缓冲加速频繁IO带来的文件系统并发挂起等待问题是当前较为热门的探讨内容。

随着3d-xpoint、SSD、非易失内存等超高性能物理介质成熟度越来越高，但由于高性能存储介质的容量一般较小，不能对所有数据进行存储，利用多层存储介质动态自适应感知的软件技术以及应用数据很大程度具有局部性，在存储容量与性能之间寻求平衡是分布式文件系统底层存储优化的关键技术。在实际生产中，flash加速的软件系统如flashcache、bcache、dmcache、enhanceio等也验证了理论的应用效果。

发明内容

发明目的：为了解决分布式架构带来的写入数据一致性与系统整体性能之间的平衡问题，本发明提供一种缓存策略写入分层硬件架构下的写性能优化方法。

本发明的另一目的是提供一种缓存策略写入分层硬件架构下的写性能优化设备。

技术方案：一种缓存策略写入分层硬件架构下的写性能优化方法，包括以下步骤：

步骤一、按照不同功能属性将存储层分成多个子存储层；

步骤二、将HDD 普通磁盘与SSD磁盘作为磁盘管理器中的目标设备，聚合成为一个虚拟设备Cache存储器，对Cache存储器磁盘进行区块映射,所述区块映射为从HDD普通磁盘到SSD磁盘的区块映射；

步骤三、接收写操作的IO请求后，根据不同子存储层中数据的写频率、数据量、数据大小选择缓存策略，利用区块映射将对HDD普通磁盘的写操作映射并转发到对SSD磁盘的写操作。

进一步的，所述步骤二中的区块映射采用线性映射，或采用Hash映射。

进一步的，步骤三中，采用回写模式进行写操作。

进一步的，步骤三中，全部缓存到SSD磁盘，如果SSD磁盘的空间不够，则根据缓存策略，将Cache存储器中的数据同步到HDD普通磁盘；但是当SSD磁盘中的脏数据达到预先设定的阀值时，将脏数据同步到SSD磁盘中。

进一步的，所述步骤一的存储层采用内存、SSD、NVM、3D-Xpoint中的一种作为存储介质。

进一步的，步骤三的缓存策略包括先进先出策略、最近最久未使用策略、最少使用缓存策略、随机缓存策略。