[发明专利]一种分布式文件系统中目录项异步预读的方法及系统

说明书

本发明公开一种目录项异步预读的方法及系统，该方法包括：步骤1，客户端获取所述目录项的页索引号，根据所述页索引号查找本地页面缓存中所述目录项的第一页，若存在，则执行步骤2，否则向服务器端同步发送读目录请求，所述服务器端将所述第一页发送给所述客户端，所述客户端将所述第一页保存在本地页面缓存中；所述步骤2,所述客户端解析所述第一页首部中保存的最后一个所述目录项的结尾标志eof与cookie值，判断所述结尾标志eof是否为1，若是，则所述客户端读取所述第一页中的目录项，否则所述客户端根据所述页索引号与所述cookie值，向所述服务器端异步发送读目录请求，预读保存所述目录项的下一页。

技术领域

本发明涉及分布式文件系统客户端与服务器端的交互技术，特别涉及一种目录项异步预读的方法及系统。

背景技术

随着云计算、大数据、物联网等信息技术的高速发展，全球数据信息总量呈现爆炸式增长，根据IDC的预测，从现在到2020年，数据量会每两年翻一番，到2020年时，产生的数据量将达到40ZB，因此，对海量数据存储的需求日益迫切。

对于满足存储海量数据的分布式文件系统，元数据与数据分离的结构已成为一种主流架构，元数据和数据分别保存在专有的元数据存储设备和数据存储设备中，服务器端负责管理所有的元数据信息，采用带外访问方式，客户端根据先获取的元数据信息，可以直接访问专有的数据存储设备来读取信息。

目录项读取操作，目的是获取该目录下所有的目录项的名称、索引节点号、类型等元数据信息，以提供给用户该目录下的目录项列表。

目前的并行网络文件系统(pNFS)在目录项读取时，先在本地页面缓存中查找保存目录项信息的一页，如果本地页面缓存中没有，则同步向服务器端发送读目录请求获取该页，等待服务器端返回给客户端所请求的一页，客户端才能逐个解析该页中的目录项，但对于有大量目录项的大目录，客户端读目录时，每次发送读目录请求只能获取一页，一页只能包含若干个目录项，导致读大目录时需要多次发送读目录请求，每次还要等待据服务器端返回所请求的页，客户端才能开始解析页中的目录项，增加了目录项读取的执行时间，降低了目录项读取的性能。

发明专利“一种分布式文件系统中目录的存取方法”，在该发明中，目录的内容使用文件来存储，对于目录中的目录项，通过对目录项名称进行哈希，将目录项分为若干子集。对于不同的子集，其在目录文件中按照条带化的方式进行存储，条带的大小相对较大，以使读取磁盘时能够充分利用底层文件系统 的预读功能。对于每个子集的条带块中的所有目录项，采用二叉树的方式进行存储，以避免初次读取时需要建立二叉树。对于所有的条带块，采用内存映射(mmap)的方式进行访问，避免每次访问磁盘数据时进行内存分配、调用系统文件读写系统调用所带来的开销。但本发明涉及一种分布式文件系统客户端与服务器端的交互技术，客户端异步预读目录项到本地页面缓存，不同点在于该专利是提供一种目录项存取的方法，并未涉及客户端与服务器端的交互技术。