[发明专利]一种分布式存储缓存管理的方法、系统、存储介质及设备

说明书

本发明提供了一种分布式存储缓存管理的方法、系统、存储介质及设备，方法包括：在分布式底层存储集群中基于文件的额定大小选定对象粒度及条带宽度；基于对象粒度和条带宽度将文件的数据分片为多个对象单元并采用以对象为粒度的方式写入分布式底层存储集群，其中该以对象为粒度的方式的写入满足局部性原理；响应于接收到客户端发出的读请求，根据读请求在缓存中查找；响应于缓存中不存在读请求对应的数据，对分布式底层存储集群以对象为粒度的方式进行预取管理并构建缓存，再次根据读请求在缓存中查找；响应于在缓存中查找到读请求对应的数据，从缓存中返回对应的数据及缓存命中。本发明节约缓存空间、提高预取命中率、提高存储整体的IO性能。

技术领域

本发明涉及服务器技术领域，尤其涉及分布式存储技术领域，具体涉及分布式存储的缓存管理技术领域。

背景技术

随着云计算、数字化转型，产生的数据量呈指数级增长，因此，对海量数据存储有新的技术要求。传统存储虽然技术成熟、性能良好、可用性高等优点，但面对海量数据，其缺点也越来越明显，如扩展性差、成本高、存在单点故障和性能瓶颈等。为了克服上述缺点，满足海量数据的存储需求，当前技术背景下出现了分布式存储技术。分布式存储系统，通常包括主控服务器、存储服务器，以及多个客户端组成。其本质是将大量的文件，均匀分布到多个存储服务器上。

目前，分布式对象存储系统已经普遍应用于生成环境中，具有高扩展性，高可用性，高可靠性的特点，与此同时，分布式对象存储系统能够应用于多种场景，在商业化模式的推动下，对分布式存储系统的性能要求越来越高。

分布式对象存储可以提供块、文件和对象三种功能接口的存储，其中文件系统相对与本地文件系统具有很好的扩展能力，而且，在NAS场景下，通过网络C/S架构，分布式文件系统具有功能丰富、无限扩展、无容量限制的特点。针对文件系统的操作比较成熟，应用广泛，针对文件IO操作(元数据和数据访问)性能的要求具有重要的研究价值。一般性，提高数据IO的访问性能，可采用数据预取，增加缓存层手段来实现，提高客户端预取命中率，减少IO次数进而提升性能。

现有技术中，在传统存储文件系统中，根据IO预取数据的特点，通过链表结构设置预取数据优先级，然后使用缓存淘汰算法进行预取数据的调度方法，提升缓存数据的命中率。在海量小文件场景下，通过合并多个小文件为个大块文件来减少元数据IO次数，充分利用客户端缓存，降低存储IO次数，该方法能有效提升预取命中率，读访问时延低，在特定的小文件应用场景能够提高存储性能。分布式存储系统，会通过条带化技术，将数据存储到分布式集群中，现有技术中，根据存储节点的存储水位来达到数据均衡分布的目的，在不同的存储节点硬件设备不是完全一致的情况下，是不可行的，为了解决分布式存储系统中数据均衡，同时又能保证存储性能，提出了一致性hash环算法存储均衡数据，根据数据访问热度进行数据预取，解决存储IO性能和存储数据分布的问题。然而现有的算法仍然存在改进和提高的空间。

因此，针对现有技术中的上述缺点、问题，需要提出一种优化的分布式存储缓存管理的方法，尽可能优化缓存数据的管理，合理进行缓存淘汰，节约缓存空间，从而提高预取命中率，进而提高存储IO性能。

发明内容

有鉴于此，本发明的目的在于提出一种改进的分布式存储缓存管理的方法、系统、存储介质及设备，从而解决现有技术中上述问题等。

基于上述目的，一方面，本发明提供了一种分布式存储缓存管理的方法，其中该方法包括以下步骤：

在分布式底层存储集群中基于文件的额定大小选定对象粒度及条带宽度；

基于所述对象粒度和条带宽度将文件的数据分片为多个对象单元并采用以对象为粒度的方式写入所述分布式底层存储集群，其中该以对象为粒度的方式的写入满足局部性原理；

响应于接收到客户端发出的读请求，根据所述读请求在缓存中查找；