[发明专利]集群存储网络并行负载的分析方法及系统有效

专利信息
申请号: 201310270701.2 申请日: 2013-06-28
公开(公告)号: CN103595552B 公开(公告)日: 2017-05-03
发明(设计)人: 霍道安;李鹏;李云涛 申请(专利权)人: 国家超级计算深圳中心(深圳云计算中心)
主分类号: H04L12/24 分类号: H04L12/24;H04L29/08
代理公司: 深圳市世纪恒程知识产权代理事务所44287 代理人: 胡海国
地址: 518055 广东省深圳市南*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 集群 存储 网络 并行 负载 分析 方法 系统
【说明书】:

技术领域

发明涉及到集群存储网络领域,特别涉及到一种集群存储网络并行负载的分析方法及系统。

背景技术

集群存储网络一般构架于标准的高速低延时的TCP/IP以太网之上,并且为了获取较高的数据存储可靠性、可扩展性以及存储性能,集群存储网络通常情况下将数据块分条(称作striping)存放在多个存储节点上,因而会在客户端请求读取一个数据块的时候,集群存储网络中保存有当前请求读取的数据块的各个数据片段的所有存储节点将同步响应,这种通信模式也被称为多对一(M:1)通信方式。

在(M:1)的通信方式下,由于交换机缓存或者是客户端到交换机的数据传输链路的带宽是有限的,会产生大量的数据丢包,由此引发TCP的快速重传恢复机制,减小TCP拥塞窗口的大小,从而造成超时事件,使得客户端的有效网络吞吐率的急剧下降。

客户端的吞吐率是集群存储网络的重要的性能指标,目前还没有找到一种能准确计算客户端的具体吞吐率的方法,这样导致无法正确有效的判断集群存储网络的性能。

发明内容

本发明的主要目的为提供一种集群存储网络并行负载的分析方法,旨在提供一种准确计算客户端具体吞吐率的方法,并正确有效的判断集群存储网络的性能。

本发明还提出一种集群存储网络并行负载的分析系统,旨在提供一种准确计算客户端具体吞吐率的方法,并正确有效的判断集群存储网络的性能。

本发明提出一种集群存储网络并行负载的分析方法,该方法包括:

获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数;

将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;

根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。

优选地,所述将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间的步骤包括:

根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率;

将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。

优选地,在所述根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率的步骤之后,该方法还包括:

将超时次数的概率小于预设阀值的存储节点忽略,不进行超时次数的高低顺序的排序。

优选地,所述计算得出超时次数的概率的公式为:

ai=A/N,其中ai为超时次数为i的概率,A为超时次数为i的存储节点的数量,N为总的存储节点的数量。

优选地,所述客户端的实际吞吐率的计算公式为:

G=B/T=B/(a0*t+a1*t+a2*t+······+ai*t+i*RTOmin),其中:

G为实际吞吐率,T为排序最高的存储节点传送数据片段给客户端的时间,a0为超时次数为0的概率,a1为超时次数为1的概率,ai为超时次数为i的概率,i为超时次数,t为不超时时完成一次完整数据请求的时间,RTOmin为最小重传超时时间。

一种集群存储网络并行负载的分析系统,该系统包括:

数据获取模块,用于获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数;

分析模块,用于将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;

计算模块,用于根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。

优选地,所述计算模块,还用于根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国家超级计算深圳中心(深圳云计算中心),未经国家超级计算深圳中心(深圳云计算中心)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201310270701.2/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top