[发明专利]一种数据处理的方法、装置、存储介质及电子设备

说明书

本说明书公开了一种数据处理的方法、装置、存储介质及电子设备。该数据处理的方法包括：确定各候选计算节点，并获取各候选计算节点的历史访问记录，根据所述历史访问记录，确定各候选计算节点对不同名字空间的访问频率，并将访问频率满足预设条件的名字空间作为目标名字空间，根据每个候选计算节点的剩余存储空间，以及各目标名字空间对应的存储需求，从各候选计算节点中选取出至少一个目标计算节点，将目标名字空间下的至少部分元数据发送给目标计算节点进行存储，以使其他计算候选计算节点向目标计算节点发送数据获取请求，并根据获取到的元数据进行数据处理。

技术领域

本说明书涉及计算机技术领域，尤其涉及一种数据处理的方法、装置、存储介质及电子设备。

背景技术

近年来，大规模分布式集群系统依靠其高性能、高可扩展、高可用等特点，已经被广泛地应用到诸如石油采集、天然气采集、制造、富媒体、金融等需要大规模高性能计算的领域中。分布式系统的架构通常由三部分组成，即元数据节点、计算节点以及存储节点，从而通过存储与计算分离的方法实现其高性能和高扩展性，进而满足各种应用的运行需求。

然而，目前通过分布式集群系统进行数据访问的过程中，元数据的访问量往往会过于庞大，并且大量计算节点并发的数据访问请求会争用元数据节点集群的网络资源以及存储资源，从而影响系统性能，甚至会导致网络拥塞、I/O拥塞等问题。

因此，如何有效降低计算节点的数据访问请求对元数据节点集群的网络资源以及存储资源的占用，避免数据访问的过程中出现网络拥塞以及I/O拥塞，是一个亟待解决的问题。

发明内容

本说明书提供一种数据处理的方法、装置、存储介质及电子设备，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种数据处理的方法，包括：

确定各候选计算节点，并获取各候选计算节点的历史访问记录；

根据所述历史访问记录，确定各候选计算节点对不同名字空间的访问频率，并将访问频率满足预设条件的名字空间作为目标名字空间；

根据每个候选计算节点的剩余存储空间，以及各目标名字空间对应的存储需求，从各候选计算节点中选取出至少一个计算节点，作为目标计算节点；

将所述目标名字空间下的至少部分元数据发送给所述目标计算节点进行5存储，以使除所述目标计算节点外的其他计算候选计算节点向所述目标计算节点发送数据获取请求，并根据获取到的元数据进行数据处理。

可选地，确定各候选计算节点，具体包括：

从各计算节点中，选取部署位置之间的距离满足预设距离条件的计算节点，作为候选计算节点。

0可选地，将所述目标名字空间下的至少部分元数据发送给所述目标计算节点进行存储，具体包括：

根据所述历史访问记录，在所述目标名字空间的根目录中确定各候选计算节点访问过的历史元数据；

将所述历史元数据发送给所述目标计算节点进行存储，并将存储所述历史5元数据的目标计算节点作为本地元数据节点。

可选地，所述方法还包括：

在数据处理的过程中，若所述目标计算节点中未存储有所述数据获取请求对应的元数据，则将存储在所述全局元数据节点中的所述数据获取请求对应的元数据发送给所述目标计算节点进行存储。

0可选地，所述方法还包括：

若监测到所述本地元数据节点对应目标名字空间的访问频率低于预设阈值，则获取所述本地元数据节点发送的撤销请求；

根据所述撤销请求，将所述目标计算节点中存储的元数据进行删除，并撤销所述本地元数据节点。