[发明专利]组织分布式存储系统中的数据

说明书

技术领域

所公开的实现方式通常涉及管理分布式存储系统，更具体地涉及用于组织分布式存储系统中的大量数据的系统和方法。

背景技术

互联网已经变为全球的人存储和交换信息的受欢迎的地点。随着互联网管理的数据量快速增长，不管是个人还是集体，以及与数据相关联的服务变得更复杂，对基于互联网的服务供应商来说，管理这些大量的数据以及响应于来自世界上的任何地方的用户的不同数据访问请求而高效地提供相关联的服务正变成不断的挑战。

发明内容

根据下述一些实施例，提供一种用于将数据添加到分布式存储系统的方法，该分布式存储系统包括多个计算机服务器，每一计算机服务器包括一个或多个处理器和存储器。分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联。该方法包括：识别与账户相关联的第一分块，其中第一分块是第一分块组的成员，并且第一分块具有指示能将更多数据添加到第一分块的数据范围参数和指示第一分块中的实际数据量的分块大小；响应于确定第一分块的分块大小已经达到预定限值：更新第一分块中的数据范围参数使得不能再将数据添加到第一分块；创建用于该账户的第二分块，其中，第二分块包括指示能将更多数据添加到第二分块的数据范围参数；将第二分块添加到第二分块组；以及根据与该账户相关联的数据复制策略，在分布式存储系统内复制第二分块组。

根据下述的一些实施例，一种分布式存储系统包括多个分区，每一分区包括多个计算机服务器，以及每一计算机服务器包括一个或多个处理器和存储器；连接两个相应的分区的多个网络链路，其中分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联；以及多个程序模块，其中多个程序模块被存储在相应的计算机服务器的存储器中并且将由相应的计算机服务器的一个或多个处理器执行。多个程序模块包括用于下述步骤的指令：识别与账户相关联的第一分块，其中第一分块是第一分块组的成员，并且第一分块具有指示能将更多数据添加到第一分块的数据范围参数和指示第一分块中的实际数据量的分块大小；响应于确定第一分块的分块大小已经达到预定限值：更新第一分块中的数据范围参数使得不能再将数据添加到第一分块；创建用于该账户的第二分块，其中第二分块包括指示能将更多数据添加到第二分块的数据范围参数；将第二分块添加到第二分块组；以及根据与该账户相关联的数据复制策略，在分布式存储系统内复制第二分块组。

根据下述的一些实施例，一种非瞬时计算机可读存储介质存储被配置成由计算机服务器执行的一个或多个程序模块，计算机服务器包括一个或多个处理器和存储器并且是分布式存储系统的一部分，其中，分布式存储系统被配置成将与多个账户相关联的数据分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联。一个或多个程序包括用于下述步骤的指令；识别与账户相关联的第一分块，其中，第一分块是第一分块组的成员，并且第一分块具有指示能将更多数据添加到第一分块的数据范围参数和指示第一分块中的实际数据量的分块大小；响应于确定第一分块的分块大小已经达到预定限值：更新第一分块中的数据范围参数使得不能再将数据添加到第一分块；创建用于该账户的第二分块，其中，第二分块包括指示能将更多数据添加到第二分块的数据范围参数；将第二分块添加到第二分块组；以及根据与该账户相关联的数据复制策略，在分布式存储系统内复制第二分块组。

根据下述的一些实施例，提供一种用于在分布式存储系统内复制数据的方法，该分布式存储系统包括多个计算机服务器，每一计算机服务器包括一个或多个处理器和存储器。分布式存储系统内的数据与多个账户相关联并且被分成多个组，每一组包括多个分块并且每一分块与相应的账户相关联。该方法包括：将与第一账户相关联的数据和与第二账户相关联的数据分别分成第一分块集和第二分块集，其中，第一账户和第二账户具有不同的数据复制策略；将第一分块集和第二分块集中的每一个添加到相应的分块组，其中，不存在包括第一分块集的成员和第二分块集的成员的组；对包括第一分块集的成员的每一分块组，创建预定数量的副本并且根据与第一账户相关联的数据复制策略，在分布式存储系统内分配副本；以及对包括第二分块集的成员的每一分块组，创建预定数量的副本并且根据与第二账户相关联的第二数据复制策略，在分布式存储系统内分配副本。