[发明专利]一种分布式存储系统小文件加速方法、装置、设备及介质

说明书

本发明公开了一种分布式存储系统小文件加速方法，包括：将硬盘划分为预设大小的超级块、键值数据区以及数据区；根据超级块记录的信息确定键值数据区以及数据区的位置信息；根据位置信息获取键值数据区的键值数据并根据键值数据以及位置信息计算硬盘的空闲空间，以构建硬盘的空闲空间列表；响应于接收到写入数据的请求，根据写入的数据文件的文件大小在空闲空间列表里获取待存储位置的信息；根据待存储位置的信息将数据文件写入数据区的对应存储位置。本发明还公开了一种相应的装置、设备以及介质。本发明使随机访问的耗时均衡，从而加速了小文件的处理。

技术领域

本发明涉及存储技术领域，更具体地，特别是指一种分布式存储系统小文件加速方法、装置、设备及介质。

背景技术

随着云计算、大数据技术的飞速发展，全球数据量呈爆炸式增长，这为分布式文件系统带来了新的发展机遇与挑战，从高性能计算到数据中心，从数据共享到互联网应用，分布式文件系统已渗透到数据应用的各个方面。当前多数分布式文件系统是针对大规模大数据文件的处理，小文件的存储优化相对缺乏。而随着社会化网络、移动通信和个人终端的发展，小文件在存储系统中所占的比例越来越高。因此，小文件的访问优化问题是当前分布式文件系统亟需解决的问题。

发明内容

有鉴于此，本发明实施例的目的在于提供一种分布式存储系统小文件的一种加速方法和装置。

基于上述目的，本发明一方面提供了一种分布式存储系统小文件加速方法，该方法包括：

将硬盘划分为预设大小的超级块、键值数据区以及数据区；

根据所述超级块记录的信息确定所述键值数据区以及所述数据区的位置信息；

根据所述位置信息获取所述键值数据区的键值数据并根据所述键值数据以及所述位置信息计算所述硬盘的空闲空间，以构建所述硬盘的空闲空间列表；

响应于接收到写入数据的请求，根据写入的数据文件的文件大小在所述空闲空间列表里获取待存储位置的信息；

根据所述待存储位置的信息将所述数据文件写入所述数据区的对应存储位置。

在一些实施例中，所述根据所述位置信息将所述数据文件写入所述数据区的对应存储位置还包括：

根据所述待存储位置的信息确定所述待存储位置的偏移值，根据所述偏移值将所述数据文件写入所述数据区的所述对应存储位置。

在一些实施例中，所述方法还包括：

根据所述数据文件的文件名配置key值，根据所述偏移值、所述文件大小以及文件名配置value值，将所述key值和所述value值存储至所述键值数据区。

在一些实施例中，所述根据所述数据文件的文件名配置key值，根据所述偏移值、所述文件大小以及文件名配置value值还包括：

将所述数据文件的所述文件名做hash处理，根据经过所述hash处理后的所述文件名配置所述key值，根据所述偏移值、所述文件大小以及经过所述hash处理后的所述文件名配置所述value值。

在一些实施例中，所述方法还包括：

响应于接收到读取数据的请求，对待读取的数据文件的文件名做所述 hash处理，根据经过所述hash处理后的所述待读取的数据文件的文件名在所述键值数据区中获取对应的value值。

在一些实施例中，所述方法还包括：

响应于根据所述待读取的数据文件的文件名在所述键值数据区中找到对应的value值，根据所述对应的value值确定所述待读取的数据文件对应的偏移值和长度，根据所述对应的偏移值和长度在所述数据区中获取所述待读取的数据文件。