[发明专利]无共享分布式存储系统中的目标驱动独立数据完整性和冗余恢复

说明书

一种分布式无共享存储系统包括与网络和向在该存储系统上存储的数据发送I/O处理的主机相连的独立节点。每一个节点能够执行其自己的对部分写入数据的恢复和维持在存储系统上存储的数据的一致性。节点独立地计算跨节点的所有数据的位置并且独立地均衡数据，基于存储系统的冗余策略来维持一致性并且根据位置变化来迁移数据。如果节点判定其存储不完整或者损坏的数据，则该节点根据其他节点上的副本数据来重构其存储的数据。在节点之间的数据迁移期间，来自主机的I/O处理不被中断。

技术领域

本发明涉及由通过网络相连的独立计算机系统(节点)的集群组成的无共享分布式存储系统。

背景技术

在存储系统中的数据的迁移期间，存储系统中存储的数据必须被可靠地维持并且输入/输出(I/O)处理必须不被中断。对于写操作，例如，在迁移期间，存储系统必须可靠地跟踪数据对象状态。

一种已知方法使用写标记，其中将被修改的数据区域在写入数据之前在公用/共享的“计分板”上被标记为例如“脏”标志。在该方法中，需要若干步骤，其包括记录写入数据的请求、向存储数据的每一个目标发送消息、等待写和响应、然后发送实际写操作。前述方法导致写操作的网络延迟的增加。

另一种已知存储方法将整个高级数据存储区域标记为脏。然而，这种方法对于大量数据是不可行的，因为其需要数据的整个大聚合的恢复。已知的存储系统也可以在文件系统级别将文件标记为脏以指示修改。然而，文件系统级别处的标记导致标记数据具有过粗的粒度而无法对极大数据文件有效，这导致恢复需要过长时间段来完成。另外，在集中式数据库中将数据块标记为脏在本领域中-诸如在Parascale公司的向外扩展存储平台软件中-也是已知的。

已知存储系统中的类似功能还包括例如在通过引用而被结合于此的美国专利第6,907,507、6,910,111、7,089,385和6,978,354号中描述的VERITAS卷管理器(VxVM)的快速镜像重新同步(FMR)特征。美国专利第6,907,507、6,910,111、7,089,385和6,978,354号使用多列位图、累积器地图和按照镜像的地图。针对从I/O错误的恢复，现有技术的存储系统(卷管理器和多拷贝文件系统)需要中央管理器要么通过直接读或者写数据来执行恢复，要么需要协调器来管理恢复过程。这种配置的缺点是中央管理的恢复在协调器经历故障时暂停，这导致恢复过程的进一步复杂化。此外，为了应对协调器故障的可能性，需要在共享存储装置中可靠地保持大量元数据。

在部分写数据恢复的情况下，现有技术由许多使用中央数据库或者某种卷级位图的卷管理器实现方案所采用的镜像重连和镜像“重新同步(resilvering)”方法组成。其他实现方案使用从一个中央位置(所有卷管理器)进行直接读取和写入的中央恢复管理器或者具有用来驱动恢复的中央协调器(例如如在Parascale公司的向外扩展存储平台软件中一样)。

当涉及在存储系统中添加或者移除节点或其盘的数据迁移的情况下，现有技术包括CEPH文件系统重布局特征，其基于可靠的散列和图生成。PICASSO和CEPH系统都使用通常称为“CRUSH”算法的放置算法来基于跨整个存储集群的存储配置的版本信息来确定性地计算数据块的正确放置。见Sage A.Weil；Scott A.Brandt；Ethan L.Miller；CarlosMaltzahn；,“CRUSH：Controlled,Scalable,Decentralized Placement of ReplicatedData，”Proceedings of the 2006 ACM/IEEE Conference on Supercomputing，p.31，2006，其通过引用而被结合于此。在CEPH系统中，重布局由中央元数据引擎执行。另外，在Parascale系统中，数据重布局由中央数据库驱动并且放置以自组织按块的方式完成。当Parascale系统中的重布局被中断时，数据布局被留在过渡但是一致的状态下，并且在恢复重布局过程之后，数据放置被重新计算。