[发明专利]用于复制内容可寻址存储集群的异步分布式去重

说明书

分案说明

本申请属于申请日为2009年12月22日的中国专利申请200980156970.8的分案申请。

背景技术

企业计算局面经历了存储体系结构的根本性转变，因为中央服务体系结构已经让位于分布式存储集群。随着企业寻求增加存储效率的方式，从商品计算机构建的存储集群可以以与庞大盘阵列相比的成本的一小部分，为新的数据密集型应用提供高性能、可用性和可伸缩性。为了开启存储集群的全部潜力，跨多个地理位置复制数据，从而增加可用性，并且减少距客户端的网络距离。

数据去重(de-duplication)可以识别重复的对象，并且通过移除副本来减少所需的存储空间。结果，数据去重对于存储业变得日益重要，并且正由会包含许多副本的大型系统的需求推动。

发明内容

根据一个实施方式，一种方法可以由分布式数据复制系统中的设备组中的设备执行。该方法可以包括将对象的索引存储在分布式数据复制系统中，所述索引是在对象的复制品由分布式数据复制系统中的多个设备本地存储时被复制。该方法还可以包括进行对索引的至少一部分的扫描，以及基于对索引的扫描来识别对象中的至少一个的冗余复制品。该方法可以进一步包括通过将去重记录写入索引的一部分来对冗余复制品进行去重。

根据另一个实施方式，分布式数据复制系统中的设备组中的设备可以包括：用于将对象的索引存储在分布式数据复制系统中的装置；用于将改变写入索引以指定对象中的一个的复制品的状态的装置；用于将对索引的改变复制到分布式数据复制系统中的多个设备的装置；用于进行对索引的至少一部分的扫描的装置；用于基于对索引的扫描来识别对象中的一个的冗余复制品的装置；以及用于对冗余复制品进行去重的装置。

根据又一个实施方式，一种系统可以包括存储器，其用来存储指令、对象的数据存储以及数据存储中的对象的索引；以及处理器。处理器可以执行存储器中的指令来：识别数据存储中的对象的状态，所述状态与对象是否具有复制品以及删除请求是否与对象相关联有关；基于对象的状态将去重指定记录写入索引；将具有去重指定记录的索引复制到一个或多个设备；以及从一个或多个设备中的一个接收与对象相关联的其它去重指定记录，其中去重指定记录和其它去重指定记录为对对象的一个或多个复制品的删除提供基础。

根据又一个实施方式，一种由一个或多个设备执行的方法可以包括：将对象的索引存储在分布式数据复制系统内的多个设备中，以及在本地存储对象时遍及分布式数据复制系统复制索引，其中每一个设备对索引的特定子集内的对象的去重负责；进行对索引的子集中的每一个的扫描以基于扫描来识别冗余复制品；对冗余进行去重；以及自动将对象从带有具有正在进行的删除请求的复制品的设备拷贝到带有先前已被去重的复制品的设备。

根据进一步实施方式，一种计算机可读存储器可以包括计算机可执行的指令。该计算机可读存储器可以包括：用来进行对分布式数据复制系统中的对象的索引的一部分的扫描的一个或多个指令；用来基于对索引的一部分的扫描来识别对象中的一个的冗余复制品的一个或多个指令；用来对冗余复制品进行去重的一个或多个指令。

附图说明

合并入并且构成本说明书的一部分的附图图示了在此描述的一个或多个实施例，并且与描述一起说明了这些实施例。在附图中：

图1是在其中可以实现在此描述的系统和方法的示例性网络的图；

图2是图1的文件系统的示例性配置的图；

图3是图1的存储集群的示例性组件的图；

图4是图1的示例性存储集群的功能框图；

图5是可以在分布式多主站数据复制系统的索引内使用的示例性记录结构的图；

图6A-6B是用于管理客户端发起的上载/删除操作的示例性过程的流程图；

图7是用于在分布式多主站数据复制系统中执行去重的示例性过程的流程图；

图8是用于管理删除请求的示例性过程的流程图；

图9是用于移除重复复制品的示例性过程的流程图；

图10是用于在分布式多主站数据复制系统中优化带宽消耗以及减少时延的示例性过程的流程图；以及

图11是根据在此描述的一个实施方式图示了示例性全局索引的一部分的图。

具体实施方式

下面的详细描述参考附图。在不同附图中的相同参考数字可以识别相同或相似元素。并且，下面的详细描述不限制本发明。