[发明专利]元数据的处理方法，代理、转发设备，服务器及计算系统

说明书

技术领域

本发明涉及高性能计算技术领域，具体涉及元数据的处理方法、元数据代理设备、IO转发设备、元数据服务器及高性能计算系统。

背景技术

在高性能计算领域，高性能计算机的计算性能得到飞速的发展，而存储性能却没有得到相应的发展。针对计算能力与存储能力的不平衡，现有技术中主要有两种方案来提高元数据的存储能力。

第一种方案是:元数据集群方案，使用哈希或子树分割的方式将元数据分散的存储在多个不同的服务器上，利用服务器的并发能力提高元数据的存储能力，但服务器的个数有限，扩展的规模有限，而且元数据在多个服务器上的分布相对固定，导致元数据的灵活性降低。

第二种方案是：构建多个存储系统，这样将元数据的请求分布到多个不同的存储系统上以提高元数据的存储能力。但各个存储系统间隔离，数据交互困难；元数据扩展能力有限，导致元数据的灵活性降低。

发明内容

本发明实施例提供一种元数据的处理方法，可以提高元数据处理的灵活性。

本发明实施例第一方面提供一种元数据的处理方法，包括：

从元数据服务器获取多个文件的元数据信息；

接收输入输出IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；

根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；

当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。

本发明实施例第二方面提供一种元数据的处理方法，包括：

从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；

根据所述获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；

获取所述元数据代理设备发送的数据对象标识；

根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。

本发明实施例第三方面提供一种元数据的处理方法，包括：

将存储的部分文件的元数据信息分别迁移到不同的元数据代理设备上，并将每个元数据代理设备的地址信息与所述每个元数据代理设备上存储的文件路径信息对应存储；

向IO转发设备发送存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息，以使所述IO转发设备根据所述地址信息，从所述元数据代理设备获取数据对象标识，根据所述数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。

本发明实施例第四方面提供一种元数据代理设备，包括：

第一获取单元，用于从元数据服务器获取多个文件的元数据信息；

第一接收单元，用于接收IO转发设备发送的元数据请求，所述元数据请求中携带要执行操作的文件路径信息；

第一查找单元，用于根据所述第一接收单元接收到的所述要执行操作的文件路径信息查找所述第一获取单元获取到的对应文件的元数据信息中的数据对象标识；

第一发送单元，用于当查找到所述数据对象标识时，向所述IO转发设备返回所述数据对象标识，以使所述IO转发设备根据所述数据对象标识查找数据存储设备中的数据对象，进而使计算节点设备完成对所述数据对象的文件数据操作。

本发明实施例第五方面提供一种IO转发设备，包括：

第二获取单元，用于从元数据服务器获取存储有要执行操作所需要的元数据信息的元数据代理设备的地址信息；

第二发送单元，用于根据所述第二获取单元获取的地址信息，向所述元数据代理设备发送元数据请求，所述元数据请求中携带要执行操作的文件路径信息，以使所述元数据代理设备根据所述要执行操作的文件路径信息查找对应文件的元数据信息中的数据对象标识；

所述第二获取单元，还用于获取所述元数据代理设备发送的数据对象标识；

第二查找单元，用于根据所述第二获取单元获取的数据对象标识查找数据存储设备中的数据对象，以使计算节点设备完成对所述数据对象的文件数据操作。

本发明实施例第六方面提供一种元数据服务器，包括：