[发明专利]一种数据限流方法及装置在审

专利信息
申请号: 202011350354.0 申请日: 2020-11-26
公开(公告)号: CN112615793A 公开(公告)日: 2021-04-06
发明(设计)人: 武旭方 申请(专利权)人: 新华三大数据技术有限公司
主分类号: H04L12/819 分类号: H04L12/819
代理公司: 暂无信息 代理人: 暂无信息
地址: 450000 河南省郑州市郑州高*** 国省代码: 河南;41
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 限流 方法 装置
【说明书】:

本申请提供一种数据限流方法及装置,该方法包括:在接收到来自用户设备的读/写请求时,根据其对应的限流类型,确定读/写请求所需的令牌数量;读取读/写请求对应的令牌桶内的令牌数量;判断读取的令牌数量是否小于确定出的令牌数量;若否,对读/写请求进行处理,在令牌桶中删除令牌;当到达令牌添加周期时,根据令牌桶对应的最大令牌数量、首次的令牌添加数量以及当前读取的令牌数量,确定当前次的令牌添加数量,在令牌桶中添加令牌;若是,根据首次的令牌添加数量、前述周期的时长、和确定出的令牌数量与读取的令牌数量的差值计算等待时长,在等待时长到达后,返回执行读取读/写请求对应的令牌桶内的令牌数量的步骤。本申请可提高限流精度。

技术领域

本申请涉及通信技术领域,尤其涉及一种数据限流方法及装置。

背景技术

在缓存写数据的业务模型下,提供网络附加存储(Network Attached Storage,NAS)业务的存储节点只需要将写请求所请求的写数据写到缓存中,以提高缓存写数据的性能。但同时也导致存储节点积压大量的缓存回写请求。在分布式文件系统中,这种问题尤为明显,具体表现为存储节点存在很多回写的对象存储设备(Object Storage Device,OSD)请求,这就无法及时处理读请求,最终导致读请求和写请求所需的带宽相差很大,即出现了写抢读的问题。

目前,存储节点通常基于Linux TC(Traffic Control)工具配置限流策略,以实现对读请求和写请求的限流处理。具体地,在实体网卡上配置基于IP地址和端口的读请求对应的限流策略,不同文件协议的读请求对应不同的限流策略,后续实体网卡基于配置的限流策略对来自用户设备的读请求进行限流;在创建的虚拟网卡上配置基于IP地址和端口的写请求对应的限流策略,不同文件协议的写请求对应不同的限流策略,后续虚拟网卡基于配置的限流策略,对来自用户设备的写请求进行限流,最终在实体网卡完成写操作。

在上述限流方案中,需要基于不同的文件协议配置不同的限流策略,配置操作较为繁琐,并且,受虚拟网卡自身处理性能的限制,还容易出现限流精度不高的问题,再者,如果实体网卡还负责与OSD设备进行存储业务的通信,部分业务请求可能因匹配上相应的限流策略被限流,进而影响存储节点所在集群的集群性能。

发明内容

为克服相关技术中存在的问题,本申请提供了一种数据限流法及装置。

根据本申请实施例的第一方面,提供一种数据限流方法,所述方法应用于提供NAS业务的存储节点中的分布式文件系统客户端,所述方法包括:

在接收到来自用户设备的读/写请求时,根据所述读/写请求对应的限流类型,确定所述读/写请求所需的令牌数量;

读取所述读/写请求对应的令牌桶内的令牌数量;

判断读取的令牌数量是否小于确定出的令牌数量;

在判断结果为否时,对所述读/写请求进行处理,并在所述令牌桶中删除第一数量个令牌,其中,所述第一数量为读取的令牌数量与确定出的令牌数量的差值;

当到达令牌添加周期时,根据首次在所述令牌桶中添加令牌时确定出的所述令牌桶对应的最大令牌数量和第一令牌添加数量、以及当前读取的所述令牌桶内的令牌数量,确定当前次的第二令牌添加数量,并在所述令牌桶中添加第二数量个令牌,其中,所述最大令牌数量为本客户端根据获取的针对读/写请求配置的限流类型和限流值确定出的,所述第一令牌添加数量为本客户端根据一个令牌添加周期的时长和所述最大令牌数量计算出的,添加后的令牌桶内的令牌数量不大于所述最大令牌数量,且所述第一数量为所述第二令牌添加数量;

在判断结果为是时,根据所述第一令牌添加数量、所述时长、和确定出的令牌数量与读取的令牌数量的差值计算等待时长,并在所述等待时长到达后,返回执行读取所述读/写请求对应的令牌桶内的令牌数量的步骤。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011350354.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top