[发明专利]一种数据写入速率的自适应限流方法、装置、设备及介质

说明书

本发明提出了一种数据写入速率的自适应限流方法，应用于分布式存储系统中，包括：对多个IO实例进行数据写入控制；获取每个IO实例中待写入的数据写入请求；根据待写入的数据量判断当前第一周期内可写入的数据量进行对比，如果当前第一周期内可写入的数据量不小于待写入的数据量，控制待写入的数据写入，并更新当前第一周期内可写入的数据量；如果满足，根据第二周期内存在数据写入请求等待的第一周期的数量进行数据写入速率自适应调整，根据调整后的数据写入速率设置当前第一周期内可写入的数据量，本发明还提出了一种数据写入速率的自适应限流装置、设备及介质，有效的提高了数据写入速率限制的可靠性。

技术领域

本发明涉及分布式存储系统领域，尤其是涉及一种数据写入速率的自适应限流方法、装置、设备及介质。

背景技术

在分布式存储领域中，特殊情况下我们需要考虑对系统内部数据操作，例如缓存下刷、日志合并等场景的写入速率进行控制，比如突发性写入的大量数据，超过一定的阈值后，由于硬盘性能瓶颈，会使数据读取时延增高，影响读性能，进而影响前端业务。在分布式存储系统内部的一些数据写入操作，如果不进行速率控制的话会与用户业务竞争，使前端用户业务受影响。

现在的速率限流方式，一种是通过计数器限制单位时间内请求的数量，但是这种方式不容易确定单个请求的IO(Input/Output，输入/输出)操作大小是否一致，以及及单位时间内请求数量控制在多少比较合适，所以一般限流效果不理想；另一种速率限流方式是通过限制单位时间内IO总流量的方式，不过以固定的大小进行流量控制，无法避免数据量暴增的情况即写入数据量骤增到最高限制的值。

综上，现有数据写入速率限制方法并不能有效限制数据写入速率，限制效果不够理想，可靠性不高。

发明内容

本发明为了解决现有技术中存在的问题，创新提出了一种数据写入速率的自适应限流方法、装置、设备及介质，有效解决由于现有数据写入速率限制造成限制效果不够理想的问题，有效的提高了数据写入速率限制的可靠性。

本发明第一方面提供了一种数据写入速率的自适应限流方法，应用于分布式存储系统中，包括：

对多个IO实例进行数据写入控制；

获取每个IO实例中待写入的数据写入请求，并解析获取数据写入请求中包含的待写入的数据量；

根据待写入的数据量判断当前第一周期内可写入的数据量进行对比，如果当前第一周期内可写入的数据量不小于待写入的数据量，控制待写入的数据写入，并更新当前第一周期内可写入的数据量；如果当前第一周期内可写入的数据量小于待写入的数据量，将待写入的数据写入请求放入等待队列，等待下一个第一周期判断执行；

判断当前时间间隔是否满足第二周期，如果满足，根据第二周期内存在数据写入请求等待的第一周期的数量进行数据写入速率自适应调整，根据调整后的数据写入速率设置当前第一周期内可写入的数据量；其中，第二周期为多个第一周期。

可选地，根据第二周期内存在数据写入请求等待的第一周期的数量进行数据写入速率调整具体是：

获取当前第二周期内存在数据写入请求等待的第一周期的数量；

确定存在数据写入请求等待的第一周期的数量与第二周期内包含第一周期的数量之间比值；

根据比值与预设数值的关系，调整下一第二周期内的每个第一周期中的数据写入速率。

进一步地，其中预设数值包括第一预设阈值、第二预设阈值、第三预设阈值，第一预设阈值小于第二预设阈值，且第二预设阈值小于第三预设阈值，根据比值与预设数值的关系，调整下一第二周期内的每个第一周期中的数据写入速率具体包括：

如果比值小于第一预设阈值，下一第二周期内的每个第一周期中的数据写入速率为当前第二周期内的每个第一周期中数据写入速率与第一调整比例的乘积；