[发明专利]一种缓存池数据下刷方法、系统、电子设备及存储介质

说明书

本申请公开了一种缓存池数据下刷方法，所述缓存池数据下刷方法包括：确定缓存池的下刷水位和数据池的业务压力；其中，所述缓存池用于存储热点数据，所述数据池用于存储客户端和所述缓存池下刷的非热点数据，所述热点数据的访问频率大于所述非热点数据的访问频率；根据所述下刷水位和所述业务压力确定下刷速度；其中，所述下刷速度与所述下刷水位正相关，所述下刷速度与所述业务压力负相关；按照所述下刷速度将所述缓存池中的非热点数据下刷至所述数据池。本申请能够平衡数据池接收的客户端下刷数据和缓存池下刷数据，避免数据池出现业务阻塞的情况。本申请还公开了一种缓存池数据下刷系统、一种电子设备及一种存储介质，具有以上有益效果。

技术领域

本申请涉及数据存储技术领域，特别涉及一种缓存池数据下刷方法、系统、一种电子设备及一种存储介质。

背景技术

随着固态存储技术的发展，固态存储设备(如固态硬盘SSD)作为下一代存储设备进入了存储市场。但是受限于设备成本，固态存储设备无法全部替代传统的机械存储设备(如机械硬盘HDD)，固态存储设备只能作为小容量的高速缓存设备存在于存储系统中。尤其是在分布式存储系统中，在成本有限及系统安全可靠的前提下，往往通过“数据分层存储”，充分发挥机械存储设备的存储容量大及固态存储设备读写速度快的优点，最大限度的利用硬件资源。

在数据分层存储系统中，一般由固态存储设备创建高速缓存池，机械存储设备创建实际存储数据的数据池。高速缓存池一般存储用户高频访问的热点数据；数据池存储用户低频访问的数据。高速缓存池应尽可能多的存储热点数据，但高速缓存池受限于高速缓存设备的存储容量，没有足够的空间去缓存尽可能多的热点数据，这就需要高速缓存池淘汰非热点数据到数据池。

在分层存储中，数据池不但要接收并处理客户端发来的业务IO，还要接受并处理高速缓存池下刷到数据池的非热点数据。这种情况下，如果不能很好的平衡业务IO和下刷IO，数据池中的机械存储设备很容易达到性能极限成为性能瓶颈，不能及时响应业务IO，造成前端业务阻塞。

因此，如何平衡数据池接收的客户端下刷数据和缓存池下刷数据，避免数据池出现业务阻塞的情况是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种缓存池数据下刷方法、系统、一种电子设备及一种存储介质，能够平衡数据池接收的客户端下刷数据和缓存池下刷数据，避免数据池出现业务阻塞的情况。

为解决上述技术问题，本申请提供一种缓存池数据下刷方法，该缓存池数据下刷方法包括：

确定缓存池的下刷水位和数据池的业务压力；其中，所述缓存池用于存储热点数据，所述数据池用于存储客户端和所述缓存池下刷的非热点数据，所述热点数据的访问频率大于所述非热点数据的访问频率；

根据所述下刷水位和所述业务压力确定下刷速度；其中，所述下刷速度与所述下刷水位正相关，所述下刷速度与所述业务压力负相关；

按照所述下刷速度将所述缓存池中的非热点数据下刷至所述数据池。

可选的，按照所述下刷速度将所述缓存池中的非热点数据下刷至所述数据池，包括：

根据所述下刷速度设置可用线程总数和剩余同时下刷字节数；

按照预设规则调用下刷线程将所述缓存池中的非热点数据下刷至所述数据池；

其中，所述预设规则包括：每一下刷线程被调用时，所述可用线程总数减1，所述剩余同时下刷字节数减去被调用的下刷线程对应的下刷字节数；每一下刷线程被调用结束时，所述可用线程总数加1，所述剩余同时下刷字节数加上被调用结束的下刷线程对应的下刷字节数；当所述可用线程总数和/或所述剩余同时下刷字节数为0时，暂停所述述缓存池中的非热点数据的下刷操作。

可选的，所述确定缓存池的下刷水位和数据池的业务压力，包括：