[发明专利]数据块的划分方法、装置及系统

说明书

本申请提供了一种数据块的划分方法、装置及系统，该方法的一具体实施方式包括：构建M个存储节点，其中，M为不大于N+1的正整数，N为任意质数，每个所述存储节点包含的物理磁盘个数为N；将每个存储节点包含的每个物理磁盘划分出多个数据块，每个物理磁盘包含的数据块的个数为N；对所述数据块进行分组，同一组的数据块属于同一个纠删组，使得每组中的数据块分布于不同的存储节点上，对于任意存储节点中的任意物理磁盘，所包含的数据块对应的组中的其它数据块，均分布在不同的物理磁盘上。该实施方式提高了存储系统的存储效率与存储性能，尤其对于应用了纠删码机制的存储系统，在数据重建过程中，存储效率与性能的提升更为明显。

技术领域

本申请涉及存储技术领域，尤其涉及一种数据块的划分方法、装置及系统。

背景技术

在视频监控与安防领域中，需要不断将视频流数据或图片数据进行存储备份，考虑到数据的安全性，目前的存储系统中一般采用了冗余存储技术，如纠删码技术。在存储系统中引入了纠删码技术之后，就会涉及到数据重建或多路读写时的性能问题。当进行数据重建或多路读写时，如果涉及到同一个磁盘的多个数据块并行读写，由于磁盘IO的速度远远小于CPU计算的速度，因此，性能消耗巨大，会对正常的业务产生明显影响，从而影响了整个存储系统的存储性能。

现有技术中，一般会采用crush算法，解决上述问题。crush算法是一种伪随机数据分布算法，它能够在层级结构的存储集群中有效的分布对象的副本，保证负载均衡，并且适应存储设备的增减变化。但是该算法基于层级架构，比较复杂，其复杂的算法和过多的层级设计会造成额外的性能消耗，从而降低了存储系统的存储效率与存储性能。

发明内容

本申请提供一种数据块的划分方法、装置及系统，以解决现有技术中存储系统的存储效率与存储性能低下的问题。

根据本申请实施例的第一方面，提供一种数据块的划分方法，所述方法应用于存储系统中，所述存储系统中应用了纠删码机制，所述方法包括：

构建M个存储节点，其中，M为不大于N+1的正整数，N为任意质数，每个所述存储节点包含的物理磁盘个数为N；

将每个所述存储节点包含的每个物理磁盘划分出多个数据块，其中，每个所述物理磁盘包含的数据块的个数为N；

对所述数据块进行分组，同一组的数据块属于同一个纠删组，使得每组中的数据块分布于不同的存储节点上，并且，对于任意所述存储节点中的任意物理磁盘，所包含的数据块对应的组中的其它数据块，均分布在不同的物理磁盘上。

根据本申请实施例的第二方面，提供一种数据块的划分装置，所述装置应用于存储系统中，所述存储系统中应用了纠删码机制，所述装置包括：

构建单元，用于构建M个存储节点，其中，M为不大于N+1的正整数，N为任意质数，每个所述存储节点包含的物理磁盘个数为N；

划分单元，用于将每个所述存储节点包含的每个物理磁盘划分出多个数据块，其中，每个所述物理磁盘包含的数据块的个数为N；

分组单元，用于对所述数据块进行分组，同一组的数据块属于同一个纠删组，使得每组中的数据块分布于不同的存储节点上，并且，对于任意所述存储节点中的任意物理磁盘，所包含的数据块对应的组中的其它数据块，均分布在不同的物理磁盘上。

根据本申请实施例的第三方面，提供一种存储系统，所述存储系中应用了纠删码机制，所述存储系统包括M个存储节点，其中，M为不大于N+1的正整数，N为任意质数，每个所述存储节点包含个数为N的物理磁盘；每个物理磁盘被划分出多个数据块，其中，每个所述物理磁盘包含的数据块的个数为N；所述数据块被分成多组，同一组的数据块属于同一个纠删组，每组中的数据块分布于不同的存储节点上，并且，对于任意所述存储节点中的任意物理磁盘，所包含的数据块对应的组中的其它数据块，均分布在不同的物理磁盘上。