[发明专利]一种元数据请求处理方法、装置、设备、介质

说明书

本申请公开了一种元数据请求处理方法、装置、设备、介质，该方法应用于分布式文件系统中的目标存储节点，包括：通过本地的namenode服务接收对应的客户端发送的第一元数据请求；通过本地的namenode服务从对应的缓存中查询第一元数据请求对应的元数据；如果未查询到，则通过本地的namenode服务将第一元数据请求转化为第二元数据请求，以便利用第二元数据请求从分布式文件系统中的对象存储池中查询对应的元数据；通过本地的namenode服务将从对象存储池中查询到的元数据存储到对应的缓存中，并将查询到的元数据返回给所述客户端。这样能够提高分布式文件系统的性能。

技术领域

本申请涉及分布式文件系统技术领域，特别涉及一种元数据请求处理方法、装置、设备、介质。

背景技术

随着信息技术的发展，分布式文件系统成为大数据处理的基石，其中，在分布式文件系统中比较常用的架构为hadoop，hadoop是一个由Apache基金会所开发的分布式系统基础架构，是云计算的存储基石。随着数据规模越来越大，由于hadoop中的namenode中心化问题导致分布式文件系统的性能遇到瓶颈，也即，hadoop架构的分布式文件系统中，由于只能由一个namenode节点提供整个分布式文件系统的元数据服务，所以使得整个分布式文件系统的性能受到namenode节点性能的限制。同时由于namenode节点将元数据存储在内存中，因此该文件系统所能存储的文件总量受限于namenode节点的内存总容量，且元数据存储一般为小文件存储，而过多的小文件存储会大量消耗namenode节点的存储量。

发明内容

有鉴于此，本申请的目的在于提供一种元数据请求处理方法、装置、设备、介质，能够解决现有技术中由于namenode中心化带来的分布式文件系统性能瓶颈问题，提高分布式文件系统的性能。其具体方案如下：

第一方面，本申请公开了一种元数据请求处理方法，应用于分布式文件系统中的目标存储节点，包括：

通过本地的namenode服务接收所述分布式文件系统对应的客户端发送的第一元数据请求，其中，所述第一元数据请求为HDFS namenode支持的请求，所述目标存储节点为基于预设负载均衡算法从所述分布式文件系统中的各个存储节点中确定出的节点，所述分布式文件系统中的各个存储节点上均运行有所述namenode服务；

通过本地的所述namenode服务从本地的所述namenode服务的缓存中查询所述第一元数据请求对应的元数据；

如果从本地的所述namenode服务的缓存中未查询到所述第一元数据请求对应的元数据，则通过本地的所述namenode服务将所述第一元数据请求转化为第二元数据请求，以便利用所述第二元数据请求从所述分布式文件系统中的对象存储池中查询所述元数据，其中，所述对象存储池为基于ceph构建的、用于进行对象存储的存储池，所述第二元数据请求为对象存储支持的请求；

通过本地的所述namenode服务将从所述对象存储池中查询到的所述元数据存储到本地的所述namenode服务的缓存中，并将所述元数据返回给所述客户端。

可选地，所述通过本地的所述namenode服务从本地的所述namenode服务的缓存中查询所述第一元数据请求对应的元数据之后，还包括：

如果从本地的所述namenode服务的缓存中查询到所述第一元数据请求对应的元数据，则将所述元数据返回给所述客户端，并更新所述元数据的热度参数。

可选地，所述通过本地的所述namenode服务从本地的所述namenode服务的缓存中查询所述第一元数据请求对应的元数据，包括：

通过本地的所述namenode服务对所述第一元数据请求进行解析；

通过本地的所述namenode服务根据解析结果从本地的所述namenode服务的缓存中查询所述第一元数据请求对应的元数据。