[发明专利]一种文件块的迁移方法和装置

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种文件块的迁移方法和装置。

背景技术

如图1所示，为HDFS(HadoopDistributedFileSystem，Hadoop分布式文件系统)的组网示意图，该HDFS中包括管理节点(NameNode)和多个机架，各机架内包括多个数据节点(DataNode)。其中，该管理节点是HDFS中的管理者，主要负责管理命名空间、集群配置信息等。各数据节点是HDFS中的存储单元，主要负责将文件块(Block)存储在本地文件系统中。

目前，当HDFS的存储资源达到瓶颈时，可以通过在HDFS中增加新的数据节点，以增加HDFS的存储资源，并使用新的数据节点来存储文件块。这样，当有存储需求时，则可以优先选择将文件块存储到新的数据节点中。

发明内容

本发明提供一种文件块的迁移方法，所述方法包括以下步骤：

获得文件块与所述文件块所在的数据节点的对应关系，以及当启用新数据节点时，获得包含所述新数据节点的网络拓扑结构；利用所述对应关系和所述网络拓扑结构，确定需要迁移的第一文件块；通知所述第一文件块所在的源数据节点将所述第一文件块迁移至所述新数据节点。

本发明提供一种文件块的迁移装置，所述装置具体包括：获得模块，用于获得文件块与所述文件块所在的数据节点的对应关系，以及当启用新数据节点时，获得包含所述新数据节点的网络拓扑结构；确定模块，用于利用所述对应关系和所述网络拓扑结构，确定需要迁移的第一文件块；发送模块，用于通知所述第一文件块所在的源数据节点将所述第一文件块迁移至所述新数据节点。

基于上述技术方案，本发明实施例中，当增加新数据节点时，可以自动将原有数据节点上的文件块迁移到新数据节点，而不需要手动将原有数据节点上的文件块迁移到新数据节点，从而可以减轻原有数据节点的存储压力，进而提高整个HDFS的计算能力和资源利用率。而且，在动态迁移原有数据节点上的文件块的过程中，不会影响数据业务，不用中断数据业务。

附图说明

图1是HDFS的组网示意图；

图2是本发明一种实施方式中的应用场景示意图；

图3是本发明一种实施方式中的文件块的迁移方法的流程图；

图4是本发明另一种实施方式中的文件块的迁移方法的流程图；

图5是本发明另一种实施方式中的文件块的迁移方法的流程图；

图6是本发明一种实施方式中的关系设备的硬件结构图；

图7是本发明一种实施方式中的文件块的迁移装置的结构图。

具体实施方式

在本申请使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

当HDFS的存储资源达到瓶颈时，可以通过在HDFS中增加新的数据节点，以增加HDFS的存储资源，并使用新的数据节点来存储文件块。基于此，当有新的存储需求时，则可以优先选择将文件块存储到新的数据节点中。但是，原有数据节点的文件块无法迁移到新的数据节点中，导致原有数据节点的业务仍然繁忙，新的数据节点在一定时间内并没有起到作用，资源利用不合理。

针对现有技术中存在的问题，本发明实施例中提出了一种文件块的迁移方法，该方法可以应用在HDFS中。以图2为本发明实施例的应用场景示意图，用于实现本发明的装置可以作为一个独立的设备，也可以作为一个功能模块部署在现有设备上，如部署在SDN(SoftwareDefinedNetwork，软件定义网络)控制器或者管理节点上，当用于实现本发明的装置作为一个独立的设备时，将该设备称为关系设备，且本发明实施例中以文件块的迁移方法应用在关系设备上为例。在上述应用场景下，当在网络中增加新数据节点时，此时网络拓扑结构会发生变化，在此情况下，则如图3所示，该方法包括以下步骤：