[发明专利]数据块副本数量调整方法及分布式文件系统

说明书

技术领域

本发明涉及一种数据块副本数量的调整技术，尤其涉及分布式文件系统中的数据块副本数量的调整方法及应用该方法的分布式文件系统，属于数据通信领域。

背景技术

分布式文件系统是一种基于廉价计算机节点进行本地存储构建的分布式存储系统。它通过将不同服务器上的共享文件夹组织在一起，构建成一个目录树，使用户只需访问一个共享的根目录即可访问分布在网络上的文件或文件夹，而不必知道这些文件的实际物理位置。与传统的磁盘阵列和存域网(Storage Area Network，简称：SAN)存储系统相比，有存储性价比高、可扩展性强等优点。

现有的分布式文件系统还可以被互联网业务提供商，如Google、Yahoo等，作为数据处理平台。如图1所示，现有的分布式文件系统通常由元数据服务器节点和多个数据块节点组成。其中，元数据服务器节点用于保存各个文件的数据分块情况、各个数据块所在的数据块节点的名称，以及每个数据块节点上包含的数据块的信息等；数据块节点用于保存实际的数据块，通常每个数据块大小为64MB或128MB。当客户端软件需要对上述分布式文件系统进行数据存取访问时，首先通过元数据服务器节点获取或建立文件的数据块的位置；然后直接与相应数据块所在的数据块节点进行通信，进行读写数据块等操作。

现有的分布式文件系统一般采用普通的廉价计算机节点作为硬件平台，由于普通的计算机节点可靠性不高，为了提高系统可靠性和数据可用性，分布式文件系统通常采用固定数量的多副本方式保存数据块，例如对于同一个数据块，可以在不同的数据块节点保存3个副本。元数据服务器节点通过心跳监控各数据块节点的状态，保证系统中各数据块总是具有固定的副本数，以便在某个计算机节点发生宕机时，仍然能够有可用的数据副本，以保证系统的可靠性。

现有技术的缺陷在于：上述分布式文件系统的多副本方式只考虑了数据的可用性而没有考虑到电信业务中不同数据访问的性能参数的要求不同。对于不同的数据，其性能参数是随着时间的迁移而变化的。当某些数据的访问频率升高或响应时间/传输速率下降时，各个数据块所需的聚合带宽增加。然而，由于现有分布式文件系统中对各个数据块设定的副本数都是固定的，因此难以满足高性能需要，增加了相应数据块的响应时间，影响了系统应用性能的提高。

发明内容

本发明要解决的问题是：采用固定副本数量的分布式文件系统，无法根据数据块的性能参数对副本数量进行调整，从而影响系统性能的提高。

为了解决上述问题，本发明的一个实施例是提供了一种数据块副本数量调整方法，包括：

对数据块节点中保存的数据块副本的性能参数进行统计并得到统计结果；

元数据服务器节点将所述统计结果进行求和汇总，得到针对一个数据块的数据块副本的实际性能参数；

根据所述实际性能参数与预设的参考性能参数运算得到副本调整数；

根据所述副本调整数对所述数据块副本的副本数量进行调整。

为了解决上述问题，本发明的另一个实施例是提供了一种分布式文件系统，包括元数据服务器节点和数据块节点，其中包括，

统计模块，位于所述元数据服务器节点或数据块节点中，用于对存储于所述数据块节点中的数据块副本的性能参数进行统计；

所述数据块节点包括：

存储模块，用于保存数据块副本；

调整模块，用于根据来自于元数据服务器节点的副本调整指令，在存储模块中添加或删除相应的数据块副本；

所述元数据服务器节点包括：

汇总模块，用于将所述统计结果进行求和汇总，得到针对一个数据块的数据块副本的实际性能参数；

运算模块，用于将汇总模块得到的实际性能参数与预设的参考性能参数进行运算得到副本调整数；

指令模块，用于根据运算模块得到的副本调整数向所述数据块节点发送副本调整指令。

通过本发明，根据各个数据块副本的性能参数对副本数量进行了相应地自适应调整，使得响应时间长或访问频率高或传输速率慢的数据块具有更多的数据块副本，以提高用户访问这些数据块副本的聚合带宽；并且也使得响应时间短，或访问频率低或传输速率快的数据块具有较少的数据块副本，以便将存储空间和输入输出带宽留给其他数据块副本。从而在保证数据块副本的可用性及可靠性的同时，提高了系统资源利用的合理性和利用效率。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为现有的分布式文件系统结构示意图；

图2为本发明方法实施例所述数据块副本数量调整方法的流程图；