[发明专利]一种元数据管理方法、元数据管理系统及存储介质

说明书

本申请公开了一种元数据管理方法、元数据管理系统及存储介质，该元数据管理系统包括：元数据服务器与至少一个存储池，元数据服务器包括多个与存储池一一对应的管理模块，管理模块用于对文件对应的元数据信息进行管理；存储池与管理模块连接，存储池包括存储文件的数据节点服务器。通过上述方式，本申请能够提高元数据服务器的并发能力和承载数据节点服务器的数量。

技术领域

本申请涉及分布式技术领域，具体涉及一种元数据管理方法、元数据管理系统及存储介质。

背景技术

随着分布式存储系统规模越来越大，如果出现数据恢复，则可能需要所有节点都参与，从而导致流量混乱，某些节点可能出现流量瓶颈。另一方面，随着节点规模的增加，在冗余度相同时可能更容易出现文件损坏的状况，例如：预写入3份数据，6台节点服务器损坏3台的概率和100台节点服务器损坏3台的概率是不一样的，100台节点服务器更容易出现3台都损坏的状况，导致数据丢失，因此出现了存储池的概念，即将大规模的节点服务器划分为不同的存储池，每个存储池是单独的故障域，同一个文件数据不跨池读写，满足独立的冗余策略；可以做到隔离故障域，并有利于大规模节点文件恢复和数据迁移。

然而传统的存储池只是将节点服务器划分到不同存储池内，存储池只是作为一种故障域划分方式，在节点规模持续扩大，数据量持续增加的情况下，元数据更新、元数据持久化以及服务启动时元数据的加载时间都会大大增加，致使处理速度较慢，造成元数据整体性能低下。

发明内容

本申请提供一种元数据管理系统，能够提高元数据服务器的并发能力和承载数据节点服务器的数量。

为解决上述技术问题，本申请采用的技术方案是：提供一种元数据管理系统，该元数据管理系统包括：元数据服务器与至少一个存储池，元数据服务器包括多个与存储池一一对应的管理模块，管理模块用于对文件对应的元数据信息进行管理；存储池与管理模块连接，存储池包括存储文件的数据节点服务器。

为解决上述技术问题，本申请采用的技术方案是：提供一种基于元数据管理系统的元数据管理方法，应用于元数据管理系统中元数据服务器中的管理模块，元数据管理系统为上述技术方案中的元数据管理系统，该方法包括：从至少一个存储池中选择一个存储池作为目的存储池；基于目的存储池生成数据节点列表；其中，数据节点列表包括目的存储池中用来存储待写入数据的数据节点服务器；基于数据节点列表生成地址端口列表，将地址端口列表发送给客户端，以使得客户端向与地址端口列表对应的数据节点服务器写入待写入数据，其中，地址端口列表包括据节点列表中每个数据节点服务器对应的网际互连协议地址信息与端口信息。

为解决上述技术问题，本申请采用的技术方案是：提供一种计算机可读存储介质，用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案的基于元数据管理系统的元数据管理方法。

通过上述方案，本申请的有益效果是：本申请中元数据服务器包括多个管理模块，每个存储池可包含多个数据节点服务器，数据节点服务器可用来缓存文件以及文件对应的元数据信息，管理模块可分别对文件对应的元数据信息进行管理，实现了按照存储池进行元数据划分的方法，由于元数据信息都进行相对独立的管理，元数据信息更新以及持久化可以独立进行，互相不影响，能够显著提升数据节点服务器的数量较多时元数据服务器的承载能力；在元数据信息的数据量较大时，加载数据时可以多个存储池进行并发加载，显著提高元数据信息的加载速度；由于对元数据信息进行独立处理和存储，在后续进行元数据服务器的扩展时，数据裂变非常简单，能够直接将存储池对应的元数据信息迁移到其他服务器上，可以快速实现元数据裂变迁移，而不需要重新对数据进行导出和导入操作；而且数据节点服务器可以按照存储池进行并发上报，有效提升上报效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：