[发明专利]集群存储网络并行负载的分析方法及系统有效
申请号: | 201310270701.2 | 申请日: | 2013-06-28 |
公开(公告)号: | CN103595552B | 公开(公告)日: | 2017-05-03 |
发明(设计)人: | 霍道安;李鹏;李云涛 | 申请(专利权)人: | 国家超级计算深圳中心(深圳云计算中心) |
主分类号: | H04L12/24 | 分类号: | H04L12/24;H04L29/08 |
代理公司: | 深圳市世纪恒程知识产权代理事务所44287 | 代理人: | 胡海国 |
地址: | 518055 广东省深圳市南*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 集群 存储 网络 并行 负载 分析 方法 系统 | ||
技术领域
本发明涉及到集群存储网络领域,特别涉及到一种集群存储网络并行负载的分析方法及系统。
背景技术
集群存储网络一般构架于标准的高速低延时的TCP/IP以太网之上,并且为了获取较高的数据存储可靠性、可扩展性以及存储性能,集群存储网络通常情况下将数据块分条(称作striping)存放在多个存储节点上,因而会在客户端请求读取一个数据块的时候,集群存储网络中保存有当前请求读取的数据块的各个数据片段的所有存储节点将同步响应,这种通信模式也被称为多对一(M:1)通信方式。
在(M:1)的通信方式下,由于交换机缓存或者是客户端到交换机的数据传输链路的带宽是有限的,会产生大量的数据丢包,由此引发TCP的快速重传恢复机制,减小TCP拥塞窗口的大小,从而造成超时事件,使得客户端的有效网络吞吐率的急剧下降。
客户端的吞吐率是集群存储网络的重要的性能指标,目前还没有找到一种能准确计算客户端的具体吞吐率的方法,这样导致无法正确有效的判断集群存储网络的性能。
发明内容
本发明的主要目的为提供一种集群存储网络并行负载的分析方法,旨在提供一种准确计算客户端具体吞吐率的方法,并正确有效的判断集群存储网络的性能。
本发明还提出一种集群存储网络并行负载的分析系统,旨在提供一种准确计算客户端具体吞吐率的方法,并正确有效的判断集群存储网络的性能。
本发明提出一种集群存储网络并行负载的分析方法,该方法包括:
获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数;
将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;
根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。
优选地,所述将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间的步骤包括:
根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率;
将超时次数的概率大于预设阀值的存储节点,按照超时次数的高低顺序进行排序,确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间。
优选地,在所述根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率的步骤之后,该方法还包括:
将超时次数的概率小于预设阀值的存储节点忽略,不进行超时次数的高低顺序的排序。
优选地,所述计算得出超时次数的概率的公式为:
ai=A/N,其中ai为超时次数为i的概率,A为超时次数为i的存储节点的数量,N为总的存储节点的数量。
优选地,所述客户端的实际吞吐率的计算公式为:
G=B/T=B/(a0*t+a1*t+a2*t+······+ai*t+i*RTOmin),其中:
G为实际吞吐率,T为排序最高的存储节点传送数据片段给客户端的时间,a0为超时次数为0的概率,a1为超时次数为1的概率,ai为超时次数为i的概率,i为超时次数,t为不超时时完成一次完整数据请求的时间,RTOmin为最小重传超时时间。
一种集群存储网络并行负载的分析系统,该系统包括:
数据获取模块,用于获取集群存储网络中的各个存储节点传送完整数据块的数据片段给客户端的超时次数;
分析模块,用于将各个存储节点按照超时次数的高低顺序进行排序,并确定排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间;
计算模块,用于根据所述完整数据块的大小及确定的排序最高的存储节点从开始传送数据片段到完成传送数据片段的时间,计算得到所述客户端的实际吞吐率。
优选地,所述计算模块,还用于根据各个存储节点传送所述完整数据块的数据片段给客户端的超时次数,计算得出各个存储节点对应的超时次数的概率;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国家超级计算深圳中心(深圳云计算中心),未经国家超级计算深圳中心(深圳云计算中心)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310270701.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:灯光控制车载网络系统
- 下一篇:集装箱锁