[发明专利]一种分布式存储缓存限流的方法、系统、存储介质及设备

说明书

本发明提供了一种分布式存储缓存限流的方法、系统、存储介质及设备，方法包括：根据分布式存储配置设置高水位阈值、极高水位阈值以及数据限流块阈值；响应于接收到写请求且其数据块小于数据限流块阈值，获取当前缓存水位并与高水位阈值、极高水位阈值比较；响应于当前缓存水位高于高水位阈值且低于极高水位阈值，根据写请求的对象的主副本类型计算其缓存系数并与基于当前缓存水位计算得到的缓存率比较；响应于缓存系数小于缓存率、或当前缓存水位低于高水位阈值，根据写请求将相应的数据写入缓存；响应于写请求的数据块大于等于数据限流块阈值、或当前缓存水位高于极高水位阈值、或缓存系数大于等于缓存率，根据写请求将相应的数据写入主存。

技术领域

本发明涉及数据存储领域，尤其涉及分布式存储系统技术领域，具体涉及分布式存储系统中的缓存管理技术领域。

背景技术

分布式存储系统是由多个存储服务器(节点)通过网络连接而成，并通过节点间的数据的均衡分布实现了高性能，高可靠性，易于扩展的数据存储。分布式存储系统支持多副本机制保证数据的可靠性，即会将数据复制为多个，并分布到集群的不同节点上，即使某个节点故障，由于在其它节点上仍有该数据的备份，仍可提供正常的读写业务。

同时，由于数据分布在多个节点上，系统利用多台存储服务器分担存储负荷，提高了系统的并发读写性能，并且随着节点数的增加，性能可以呈线性增加。由于HDD(机械硬盘)的寻道机制，其处理小IO(数据读写，Input/Output)的时延较高。为了提高集群的小IO性能，现在许多分布式存储系统都会使用高速的SSD(固态硬盘)作为缓存，如果判断客户端读写操作为小块IO，如4K或8K等IO大小，数据可以先写在SDD缓存中，并且写缓存完成后即可向客户端返回写成功，后续再将数据异步下刷至HDD主存中。

通常情况下，作为缓存的设备的容量和数量往往都远远小于主存设备，然而SSD的随机小IO性能却比HHD高了2-3个数量级，SSD大大提高了集群的随机小IO性能。然而当随机小IO较多时，虽然缓存可以很快相应来自客户端的IO，但是由于HDD的随机小IO性能较差，而随机IO又很难合并为大IO，后台下刷至HDD的速度将会低于缓存写入的速度，导致缓存水位快速升高，因此必须要有完善的机制保证缓存不会被写满导致缓存不可用、甚至OSD服务停止。

目前的解决方法主要有两种：一是在缓存到达高水位时，通过节流阀对前端业务进行限制，降低缓存的写入速度；另一种是在缓存到达高水位时，让所有IO都不在写入缓存，而是直接写入主存HDD。然而这两种方案都会导致集群性能的突降或震荡，对客户端业务造成较大的影响。

因此，针对现有技术中的上述缺点、问题，需要提出一种优化的用于分布式存储系统的缓存管理的方法，合理调控系统中缓存的使用状态，尽可能使缓存水位维持安全范围内，同时确保不会由于调控导致集群性能的突降或震荡，进而避免对客户端业务造成较大的影响。

发明内容

有鉴于此，本发明的目的在于提出一种改进的分布式存储缓存限流的方法、系统、存储介质及设备，从而解决现有技术中的上述问题。

基于上述目的，一方面，本发明提供了一种分布式存储缓存限流的方法，其中该方法包括以下步骤：

根据分布式存储配置设置高水位阈值、极高水位阈值以及数据限流块阈值；

响应于接收到写请求且所述写请求的数据块小于所述数据限流块阈值，获取当前缓存水位并将其与所述高水位阈值、所述极高水位阈值进行比较；

响应于当前缓存水位高于所述高水位阈值且低于所述极高水位阈值，根据所述写请求的对象的主副本类型计算其缓存系数，并将所述缓存系数与基于当前缓存水位计算得到的缓存率进行比较；

响应于所述缓存系数小于所述缓存率、或所述当前缓存水位低于所述高水位阈值，根据所述写请求将相应的数据写入缓存；