[发明专利]一种基于ALUA和本地缓存的分布式块存储性能优化方法

说明书

本发明公开了一种基于ALUA和本地缓存的分布式块存储性能优化方法，采用ALUA多路径模式，所述ALUA多路径模式中客户端的连接优先级分为AO和AN，所述客户端区分多条路径中的AO和AN，优先通过AO路径完成IO请求，与现有技术相比，本发明分布式块存储采用ALUA多路径模式和本地缓存相结合的模式来提升性能；分布式块存储采用ALUA多路径模式和集群缓存均衡器来动态调整路径优先级，均衡集群各个节点缓存利用率；本发明融合分布式存储和单机存储的优势，使IO路径同时具备路径高可靠和本地缓存的优异性能。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种基于ALUA和本地缓存的分布式块存储性能优化方法。

背景技术

对于分布式块存储，客户端与服务端目前主流的多路径模式是AA模式，客户端和多个存储节点来建立iSCSI/FC连接，以此来实现路径高可靠和负载均衡。用AA模式，要保证客户端到各个Target的多条路径之间的数据实时同步，因此在Targe服务下面是没有本地缓存的。如果存在缓存会导致路径间的数据不一致，如图1所示为传统主流分布式块存储session连接图；对于传统的单机存储，是有本地缓存的。如图2所示为传统单机存储架构图，本地缓存内部又分为读缓存和写缓存。写IO下发到写缓存，即认为写完成，写缓存根据一定策略定期下刷缓存块到后端分布式存储。读缓存可以对有规律的读进行预读，来提升读性能。因为本地缓存层的加入导致写缓存路径缩短，客户端感知写加快，因为读缓存加入，有一部分读能从缓存直接命中返回，读路径缩短，读写速度均有提升。这也是目前出现的在同等配置下，分布式存储性能不及单机存储的一个主要原因。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于ALUA和本地缓存的分布式块存储性能优化方法。

本发明通过以下技术方案来实现上述目的：

本发明采用ALUA多路径模式，所述ALUA多路径模式中客户端的连接优先级分为AO和AN，所述客户端区分多条路径中的AO和AN，优先通过AO路径完成IO请求，具体包括以下步骤：

S1：在Target层下面加入本地缓存层，本地缓存层下加入集群缓存均衡器，所述本地缓存层用于单机存储，所述集群缓存均衡器负责实时收集各个节点的缓存使用详细情况，并尽可能的均衡各个节点的缓存利用，如图3所示的存储节点S1、存储节点S2、存储节点S3；所述Target具体指iSCSI Target，iSCSI 分为发起端和目标端，在本实施例中，指目标端；

S2：定义各节点缓存利用率为Hcr,节点上各个Target的缓存占用为Tcr, 则单节点的缓存占用率为Hcr＝T1cr+T2cr+T3cr+….+Tncr；

S3：每次有新的Target需要接受客户端连接时，计算得出Hcr最低的设备为Hn，设置Hn上该Target的连接属性为AO，其他节点该Target的连接属性为AN，实现优先使用缓存剩余最多的节点为该Target提供本地缓存服务。

进一步，确保各Target连接数据一致性为：ALUA不能排除AN节点不接收到IO请求，在节点接收到IO请求后，发现该链路是AN链路，不下发IO到分布式块层，Target通过内部通讯机制，找到AO节点将IO转发给AO节点的Target 做处理，实现保证针对同一个Target的IO处理都经过同样的缓存，数据一致。

对于分布式存储，客户端访问存储可以通过多条路径访问，不同的路径对应不同的存储节点，如果存在本地缓存，且本地缓存数据不同步，则会客户端通过一条路径上更新的数据在另外一条路径上读到的仍然是旧数据。如图，比如c1,通过c11写入数据，数据被c11本地缓存缓存住了，如果c1不和c2同步缓存数据，c1通过c12路径去读，则读不到刚写入的数据。如果同步本地缓存，一是技术实现难度大，二是本地缓存各个节点实时同步带来巨大性能开销，这些开销会抵消加入本地缓存层带来的性能提升，这也是目前基本没有分布式存储会选择使用本地缓存层的原因。