[发明专利]用于数据处理的方法、设备和计算机可读介质

说明书

本公开的实施例旨提供一种用于数据处理的方法、设备和计算机程序产品。该方法包括：在元数据管理系统的多个节点中的第一节点处，确定所述多个节点中的、存储有与元数据的切片相关联的访问信息的节点集合；从所述节点集合中确定能够提供所述切片的可用节点的数目；以及基于阈值数目，调整所述可用节点的数目。通过本公开的实施例提出的方法能够实现元数据的切片的在各个节点中分布式管理，而无需使用传统方案中的管理节点。

技术领域

本公开的实施例总体涉及数据处理，更具体地，涉及一种用于数据处理的方法、设备和计算机程序产品。

背景技术

在数据保护的搜索群集(Search Cluster)中，索引数据通常被分组为多个索引。索引可以分为多个切片(Shard)，也就是索引数据的分区，每个切片具有多个副本。跟踪每个切片的副本数目以及切片被存储在分布式搜索节点中的哪个节点上是至关重要的。切片信息是搜索群集的主要元数据。元数据管理系统是搜索群集的核心组件。

在搜索分布式系统中，可以预见到某些搜索节点由于硬件和软件的故障而发生故障。因此，如果期望分布式搜索系统应具有高可用性，则在这样的搜索分布式系统中应该监视和管理每个副本的状态。通常，所期望的副本数目是由用户定义的。如果搜索节点故障(或重新启动)，元数据管理系统不仅需要知晓该节点发生故障这一事件，还应该在其他搜索节点上创建新的副本，确保满足所期望的可用副本数目。

传统方案中设置用于管理各个节点的主节点，如果用户需要获取各个从节点中的切片的信息，则需要向主节点发出请求以实现数据访问。这种主-从节点的分布结构易于维护数据的所有信息。然而其缺点在于，一旦该主节点发生故障，则用户无法获取到所有从节点的信息。此外，在多个云环境中，每个云中的主节点的同步和通信过程比较复杂。

发明内容

本公开的实施例旨在提供一种用于数据处理的方法、设备和计算机程序产品，以解决现有技术中存在的问题。

在本公开的第一方面，提供一种用于数据处理的方法。所述方法包括：在元数据管理系统的多个节点中的第一节点处，确定所述多个节点中的、存储有与元数据的切片相关联的访问信息的节点集合；从所述节点集合中确定能够提供所述切片的可用节点的数目；以及基于阈值数目，调整所述可用节点的数目。

在本公开的第二方面，提供一种用于数据处理的设备。所述设备包括至少一个处理器以及与所述至少一个处理器耦合的存储器。所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：在元数据管理系统的多个节点中的第一节点处，确定所述多个节点中的、存储有与元数据的切片相关联的访问信息的节点集合；从所述节点集合中确定能够提供所述切片的可用节点的数目；以及基于阈值数目，调整所述可用节点的数目。

在本公开的第三方面，提供一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行上述第一方面所述的方法的步骤。

提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开内容的关键特征或主要特征，也无意限制本公开内容的范围。

附图说明

通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例而非限制性的方式示出了本公开的若干实施例，其中：

图1示出了根据一些实施例的元数据管理系统的架构100的示意图。

图2示出了能够实施本公开的实施例的示例性架构200的示意图。

图3示出了根据本公开的实施例的方法300的流程图。

图4示出了根据本公开的实施例的节点示意图。