[发明专利]一种数据分布式存储方法及系统

说明书

本发明公开了一种数据分布式存储方法及系统，涉及IT基础架构中的存储技术领域，所述方法包括：通过把存储系统配置成多个存储分区，将所述存储系统中所有参与数据存储的节点分别配置到相应的存储分区中；每个存储分区中的所有节点通过共享分区内的硬盘，实现数据在存储分区内的存储；所述存储系统中的所有存储分区通过互连，确定各存储分区的存储能力，并根据所确定的存储分区的存储能力，启动存储分区间的数据迁移操作。本发明实施例既具备share nothing架构高可扩展能力，又能够消除share nothing架构的网络瓶颈。

技术领域

本发明涉及信息技术(Information Technology，IT)基础架构中的存储技术领域，特别涉及一种数据分布式存储方法及系统。

背景技术

1.存储集群架构分析

推动着存储系统发展的力量主要来自于两方面，一方面是对于存储系统的容量、性能和数据管理能力的越来越高的需求，另一方面是计算机基础软硬件的发展。

最早的服务器节点只使用本地存储介质保存数据，此时的本地存储容量和性能非常有限，独立于服务器的外置存储设备应运而生，很大程度上解决了容量和性能以及数据共享问题。

外置存储产品主要是以提供存储区域网络(Storage Area Network，SAN)和网络连接存储(Network Attached Storage，NAS)两种服务接口的磁阵设备，服务器通过存储网络访问存储设备。在近三十年的发展历程中，外置存储不断发展，以满足更大容量，更高性能以及更完善的数据管理需求。外置存储的架构也从单控，双控发展到多控集群。

随着存储介质的集成度越来越高，当前单个服务器节点可以轻松集成上百TB(Terabyte)的存储容量；固态硬盘(Solid State Drive，SSD)的使用使得单个服务器节点可以很容易达到每秒几十万读写操作(Input/Output Operations Per Second，IOPS)的存储性能；各类高性能互联(例如无限带宽技术(Infiniband，IB)，万兆以太网(10GigabitEthernet，10GE)，通用串行互连(PCI Express，PCIe)等)发展使得节点间的通讯带宽大大提升，时延大大减小。在这些技术发展背景下，基于服务器本地存储的分布式存储架构开始挑战外置存储市场。

从实施架构上，多控集群SAN/NAS以及分布式存储都属于存储集群系统，通过多个节点间的协作完成资源管理，对外体现为逻辑上的单个存储服务实体。集群的架构主要有以下几种类型：共享内存(share memory)，共享硬盘(share disk)，无共享(sharenothing)。

图1是现有技术提供的share memory的集群架构示意图，share memory架构中，集群中每节点各自有独立的中央处理器(Central Processing Unit，CPU)，集群各节点间共享一个全局编址的内存池(Memory Pool)，所有的数据读写访问都通过这个内存池，整体数据路径较短，性能较好，但节点间耦合非常紧密，高频的内存锁操作要求节点间通讯时延必须非常低，导致集群水平扩展能力很弱。

图2是现有技术提供的share disk的集群架构第一示意图,图3是现有技术提供的share disk的集群架构第二示意图,如图2和图3所示，share disk架构中，集群中每节点各自有独立的CPU和内存，集群各节点物理上都可以访问所有的硬盘。节点和硬盘一般有两种对应方式：一种方式是如图2所示的单个硬盘只归属于集群中一个节点，该方式正常时节点只管理和访问部分硬盘，在该硬盘的归属节点故障退出服务后，由集群中其他节点来接管该硬盘；另一种方式是如图3所示的硬盘不归属于单个节点，该方式所有节点可以访问所有硬盘，即所有节点都可以同时访问，使用分布式锁来实现多个节点对硬盘的访问互斥。前者节点间耦合较低，但节点间可能存在数据转发；后者节点间耦合较高，节点间数据不用转发，但节点间控制(锁，缓存控制等)交互较多。share disk架构硬件方面扩展规模有限，极少看到超过16个以上节点的共享硬盘架构集群。