[发明专利]一种基于分布式集群的存储系统

说明书

本发明提供一种基于分布式集群的存储系统，文件大小判断模块用于判断客户端写入文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将所述文件存储至缓存模块；文件大小判断模块还用于判断客户端读取文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将文件大小判断模块的判断结果反馈至客户端，客户端通过缓存模块读取所述文件；缓存大小判断模块用于判断缓存模块中由存储处理模块存入的聚合文件的大小，当所述的聚合文件的大小达到第二预设值时，缓存处理模块将缓存模块中的聚合文件写入聚合存储模块。本发明有效降低小文件写入磁盘次数，提高读命中率。

技术领域

本发明涉及计算机领域，尤其涉及一种基于分布式集群的存储系统。

背景技术

随着时代的发展，大量的数据文件产生，计算机通过文件系统管理、存储数据，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统可以有效解决数据的存储和管理难题，将固定于某个地点的某个文件系统，扩展到任意多个地点或多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输，建立庞大的集群系统。人们在使用分布式文件系统时，无需关心数据是存储在哪个节点上、或者是从哪个节点从获取的，只需要像使用本地文件系统一样管理和存储文件系统中的数据。

随着分布式存储系统的普及，应用范围的日渐广泛，当存储系统应用在购物网站、广电、网络视频等场景下时，其场景特征是小文件数量众多，空间占用一般在1M以下，操作特征为一次写入，多次读取。每个小文件存储都会执行一次全写流程，导致磁盘写数据压力大，磁盘空间使用率低，分析元数据、读数据耗时长。

发明内容

为了克服上述现有技术中的不足，本发明提供一种基于分布式集群的存储系统，包括：

客户端、缓存模块、文件大小判断模块、缓存大小判断模块、存储处理模块、缓存处理模块、用于存储普通数据文件的普通存储模块以及用于存储聚合文件的聚合存储模块；

文件大小判断模块用于判断客户端写入文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将所述文件存储至缓存模块；文件大小判断模块还用于判断客户端读取文件的大小，当所述的文件大小小于第一预设值时，存储处理模块将文件大小判断模块的判断结果反馈至客户端，客户端通过缓存模块读取所述文件；

缓存大小判断模块用于判断缓存模块中由存储处理模块存入的聚合文件的大小，当所述的聚合文件的大小达到第二预设值时，缓存处理模块将缓存模块中的聚合文件写入聚合存储模块。

优选的，存储处理模块还用于当文件大小判断模块判断客户端写入的文件大于第一预设值时，将所述文件直接存储至普通存储模块；还用于当文件大小判断模块判断客户端读取的文件大于第一预设值时，将文件大小判断模块的判断结果反馈至客户端，客户端直接从普通存储模块中读取所述文件。

优选的，缓存处理模块用于以紧密聚合方式将缓存中的聚合文件写入聚合存储模块，缓存处理模块每对聚合存储模块进行一次写操作均形成一个具有一定存储空间的聚合对象；缓存处理模块还用于在每个聚合对象起始位生成一个具有一定存储空间的对象头。

优选的，本发明还包括：缓存位置判断模块；

缓存位置判断模块用于判断客户端读取的小于第一预设值的文件是否存在于缓存模块，当所述文件不存在于缓存模块时，缓存处理模块将所述文件所属的聚合对象读入缓存模块；客户端通过缓存模块读取所述文件。

优选的，本发明还包括：定时清理模块；

定时清理模块用于定时扫描聚合对象中的文件，并当聚合对象中的文件的使用率低于第三预设值且扫描前第四预设值时间内没有被修改时，定时清理模块将所述的的聚合对象中的文件重新按照紧密聚合方式写入聚合存储模块形成新的聚合对象，并删除原有的聚合对象。