[发明专利]一种数据限流方法及装置在审
申请号: | 202011350354.0 | 申请日: | 2020-11-26 |
公开(公告)号: | CN112615793A | 公开(公告)日: | 2021-04-06 |
发明(设计)人: | 武旭方 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | H04L12/819 | 分类号: | H04L12/819 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 450000 河南省郑州市郑州高*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 限流 方法 装置 | ||
本申请提供一种数据限流方法及装置,该方法包括:在接收到来自用户设备的读/写请求时,根据其对应的限流类型,确定读/写请求所需的令牌数量;读取读/写请求对应的令牌桶内的令牌数量;判断读取的令牌数量是否小于确定出的令牌数量;若否,对读/写请求进行处理,在令牌桶中删除令牌;当到达令牌添加周期时,根据令牌桶对应的最大令牌数量、首次的令牌添加数量以及当前读取的令牌数量,确定当前次的令牌添加数量,在令牌桶中添加令牌;若是,根据首次的令牌添加数量、前述周期的时长、和确定出的令牌数量与读取的令牌数量的差值计算等待时长,在等待时长到达后,返回执行读取读/写请求对应的令牌桶内的令牌数量的步骤。本申请可提高限流精度。
技术领域
本申请涉及通信技术领域,尤其涉及一种数据限流方法及装置。
背景技术
在缓存写数据的业务模型下,提供网络附加存储(Network Attached Storage,NAS)业务的存储节点只需要将写请求所请求的写数据写到缓存中,以提高缓存写数据的性能。但同时也导致存储节点积压大量的缓存回写请求。在分布式文件系统中,这种问题尤为明显,具体表现为存储节点存在很多回写的对象存储设备(Object Storage Device,OSD)请求,这就无法及时处理读请求,最终导致读请求和写请求所需的带宽相差很大,即出现了写抢读的问题。
目前,存储节点通常基于Linux TC(Traffic Control)工具配置限流策略,以实现对读请求和写请求的限流处理。具体地,在实体网卡上配置基于IP地址和端口的读请求对应的限流策略,不同文件协议的读请求对应不同的限流策略,后续实体网卡基于配置的限流策略对来自用户设备的读请求进行限流;在创建的虚拟网卡上配置基于IP地址和端口的写请求对应的限流策略,不同文件协议的写请求对应不同的限流策略,后续虚拟网卡基于配置的限流策略,对来自用户设备的写请求进行限流,最终在实体网卡完成写操作。
在上述限流方案中,需要基于不同的文件协议配置不同的限流策略,配置操作较为繁琐,并且,受虚拟网卡自身处理性能的限制,还容易出现限流精度不高的问题,再者,如果实体网卡还负责与OSD设备进行存储业务的通信,部分业务请求可能因匹配上相应的限流策略被限流,进而影响存储节点所在集群的集群性能。
发明内容
为克服相关技术中存在的问题,本申请提供了一种数据限流法及装置。
根据本申请实施例的第一方面,提供一种数据限流方法,所述方法应用于提供NAS业务的存储节点中的分布式文件系统客户端,所述方法包括:
在接收到来自用户设备的读/写请求时,根据所述读/写请求对应的限流类型,确定所述读/写请求所需的令牌数量;
读取所述读/写请求对应的令牌桶内的令牌数量;
判断读取的令牌数量是否小于确定出的令牌数量;
在判断结果为否时,对所述读/写请求进行处理,并在所述令牌桶中删除第一数量个令牌,其中,所述第一数量为读取的令牌数量与确定出的令牌数量的差值;
当到达令牌添加周期时,根据首次在所述令牌桶中添加令牌时确定出的所述令牌桶对应的最大令牌数量和第一令牌添加数量、以及当前读取的所述令牌桶内的令牌数量,确定当前次的第二令牌添加数量,并在所述令牌桶中添加第二数量个令牌,其中,所述最大令牌数量为本客户端根据获取的针对读/写请求配置的限流类型和限流值确定出的,所述第一令牌添加数量为本客户端根据一个令牌添加周期的时长和所述最大令牌数量计算出的,添加后的令牌桶内的令牌数量不大于所述最大令牌数量,且所述第一数量为所述第二令牌添加数量;
在判断结果为是时,根据所述第一令牌添加数量、所述时长、和确定出的令牌数量与读取的令牌数量的差值计算等待时长,并在所述等待时长到达后,返回执行读取所述读/写请求对应的令牌桶内的令牌数量的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011350354.0/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置