[发明专利]一种用于分布式系统的元数据读取方法及其装置

说明书

技术领域

本发明涉及分布式系统文件读取技术领域，特别是涉及一种用于分布式系统的元数据读取方法及其装置。

背景技术

在分布式文件系统中，用户进程和存储介质往往分布在不同的节点，由于当用户打开文件时，需要首先获取文件的元数据，若当前元数据并未存在于本地节点(即本地服务器)中，则需要跨网络去元数据服务器上获取元数据，增加了文件读取延时。

并且，用户有时候会需要连续对大量的文件进行读取操作，这时候若每个文件读取时均跨网络取获取元数据的话，读取元数据的时间在全部文件读取过程中会占用较大的比例，从而降低了文件读取的速度。

因此，如何提供一种文件读取性能好的用于分布式系统的元数据读取方法及其装置是本领域技术人员目前需要解决的问题。

发明内容

本发明的目的是提供一种用于分布式系统的元数据读取方法及其装置，能够提高元数据在本地节点的缓存率，尽可能避免在连续读取大量文件时跨网读取元数据的次数，节省文件读取时间，提高文件读取性能。

为解决上述技术问题，本发明提供了一种用于分布式系统的元数据读取方法，包括：

当打开文件时，判断当前本地节点内是否缓存有所述文件的元数据，若是，按照所述文件的元数据进行文件读取操作；

否则，通过网络从元数据节点内读取所述文件的元数据并缓存至所述本地节点内，按照所述文件的元数据进行文件读取操作；

并选择是否开启元数据预读操作，若是，按照预设规则从所述元数据节点中所述文件的元数据所在的目录下读取预设个数的元数据，并缓存至所述本地节点内。

优选地，所述按照预设规则从所述元数据节点中所述文件的元数据所在的目录下读取预设个数的元数据之前还包括：

从预设的多个规则内选择一个作为当前预读时所述预设规则。

优选地，所述预设规则具体为：

按照文件名称的顺序依次读取。

优选地，所述预设规则具体为：

按照文件时间的顺序依次读取。

优选地，所述预设规则具体为：

按照文件大小的顺序依次读取。

优选地，所述预设个数为10～20个。

为解决上述技术问题，本发明还提供了一种用于分布式系统的元数据读取装置，包括：

缓存确定模块，用于当打开文件时，判断当前本地节点内是否缓存有所述文件的元数据，若是，触发文件读取模块；否则，触发第一元数据读取模块以及预读开启模块；

所述第一元数据读取模块，用于通过网络从元数据节点内读取所述文件的元数据并缓存至所述本地节点内，触发所述文件读取模块；

所述预读开启模块，用于供用户选择是否开启元数据预读操作，若操作开启，触发第二元数据读取模块；

所述第二元数据读取模块，用于按照预设规则从所述元数据节点中所述文件的元数据所在的目录下读取预设个数的元数据，并缓存至所述本地节点内；

所述文件读取模块，用于按照所述文件的元数据进行文件读取操作。

本发明提供了一种用于分布式系统的元数据读取方法及其装置，在进行文件读取时，若本地节点内未缓存有该文件的元数据，则一方面通过网络读取元数据节点内存储的该文件的元数据，另一方面选择是否开启元数据预读操作，若开启，则按照预设规则从元数据节点内该文件的元数据所在的目录下一次性地读取预设个数的元数据，并缓存至本地节点。即当用户连续对大量文件进行读取时，通过开启元数据预读操作，能够提高元数据在本地节点的缓存率，即提高了所打开文件的元数据缓存在本地节点的可能性，尽可能避免了在连续读取大量文件时跨网读取元数据的次数，节省了文件读取时间，提高了文件读取性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种用于分布式系统的元数据读取方法的过程的流程图；

图2为本发明提供的一种用于分布式系统的元数据读取装置的结构示意图。

具体实施方式

本发明的核心是提供一种用于分布式系统的元数据读取方法及其装置，能够提高元数据在本地节点的缓存率，尽可能避免在连续读取大量文件时跨网读取元数据的次数，节省文件读取时间，提高文件读取性能。