[发明专利]一种集群存储自动负载均衡的系统及方法

说明书

技术领域

本发明涉及集群存储管理技术领域，尤其涉及一种集群存储自动负载均衡的系统及方法。

背景技术

随着计算规模的扩大和新兴应用模式（如云计算、物联网）的出现，大数据应用与日俱增。集群存储是一种横向扩展（Scale-out）的存储架构，具有容量和性能线性扩展的优势。负载均衡是集群存储提供高性能的关键技术之一，能够保证集群高性能的稳定性和高的QoS服务质量，并使得集群系统具备良好的弹性以适应集群的动态扩展。

集群存储是一种开放式的存储架构，采用分布式的文件系统，将多台物理存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池（也叫统一命名空间），通过该访问接口非常容易地管理存储池后端物理存储设备上所有的磁盘，充分发挥存储设备的性能和磁盘利用率。数据将按照一定的负载均衡策略从多台存储设备上存储和读取，以获得更高的存储性能。集群存储通过分布式文件系统的作用，会在前端访问和后端存储都实现负载均衡。前端访问集群存储的操作，通过负载均衡策略将访问分散到集群存储的各个存储节点上，大大减轻了每个节点的负载；后端存储的负载均衡，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读取。本文中负载均衡专指后端存储的负载均衡，每个读写操作都由更多的节点参与，大大提高读写操作的性能。

分布式存储可以通过软件技术整合利用众多低廉的存储设备来支撑海量的存储。由于服务器之间的资源利用率经常不同、以及集群中经常动态的增删服务器，导致服务器的数据分布不均衡。而数据的均衡分布是提供高效服务的关键之一，分布式文件系统作为分布式存储的核心，其数据的再均衡处理（Data-Rebalance）显得至关重要。

高端商业集群存储都有自己Data-Rebalance功能，这已然成为了商业集群存储系统不可或缺的标准功能之一，诸如Isilon、Infortrend等。其中Isilon的核心文件系统OneFS的AutoBalance功能模块，实现了自动数据负载均衡。系统后台根据忙闲程度，自动的发起Data Rebalance操作，占用很少系统资源，不影响上层客户端的访问应用，不需要任何人工干预，也不要需要客户端多任何操作。

开源分布式文件系统中也大多有简易的Data-Rebalance功能，例如Glusterfs、MooseFS、Lustre、Hadoop/HDFS等。GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。

ESVA是一个块级的集群存储系统，通过Scale-out架构来实现集群存储容量与性能线性增长，并实现负载均衡。ESVA充分使用容量，同时可以确保用户最好地利用存储处理能力。在ESVA的scale-out架构中，无需任何手动操作就可以轻松实现性能优化。当主机端向存储池发出一个写请求，其组成数据块将以一种平衡的方式分派给各成员存储系统。图1为现有技术中集群存储负载均衡的示意图。如图1所示，一个写请求由6个数据块组成，数据块均匀分布在2个成员存储系统中，每个成员系统有3个数据块；当一个新成员存储系统被加入，数据块将被迁移确保所有成员平均负载，每个成员负载2个数据块。用户添加或删除磁盘阵列系统使配置发生了变化，现有的数据将被迁移以确保负载平衡，优化的状态仍将保持，自动的、连续的负载平衡能够充分利用性能，提高生产力。

上述主流的集群存储系统基本都支持负载均衡功能，以保持集群各节点的数据分布和容量基本均衡，但现有的负载均衡技术在某些方面也存在不足：1）手动执行，需要由管理员择机进行操作，无法实现自动执行；2）离线执行，进行负载均衡时需要集群系统暂停服务，造成业务中断；3）影响前端性能，执行时未考虑各节点工作负载，容易导致系统过载，影响正常业务访问；4）单节点执行，由某个节点负责执行负载均衡，无法做到并发执行，性能低下并且耗时较长。

由于集群存储系统设计复杂性和需求的不同，商业和开源解决方案在负载均衡功能实现上均有所取舍，亟需一种能够实现自动化、智能化、在线和并发执行的集群存储负载均衡处理策略。

发明内容