[发明专利]分布式文件系统进行数据处理的方法及该分布式文件系统

说明书

本发明公开了分布式文件系统进行数据处理的方法及该分布式文件系统，其中，该系统包括节点服务器和多个元信息服务器；所述元信息服务器，用于在宕机重启后，向各节点服务器发送包含元服务器ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息；所述节点服务器，用于接收来自元信息服务器的数据块信息获取请求，由元服务器ID确定是否存储有对应的文件，如果有则，将相应文件的文件ID、节点地址和数据块属性信息反馈给元信息服务器。本发明方案能够缩短宕机重启后的恢复时间。

技术领域

本发明涉及数据处理技术，尤其涉及分布式文件系统进行数据处理的方法及该分布式文件系统。

背景技术

参见图1，为现有技术的分布式文件系统（DFS，Distributed File System）结构示意图，该系统包括客户端、多个数据节点以及单一的主节点。

主节点在本地硬盘上存储文件路径与文件标识（ID，IDentity）之间的第一映射关系，且对应文件ID存储文件属性信息；并在内存中存储文件ID与节点地址之间的第二映射关系，且在内存中对应节点地址存储数据块属性信息。文件路径是展示给用户的关于某个文件的逻辑路径；实际地，每个文件被划分为多个数据块，分别存储在多个数据节点上。

为了用户能够快速访问，在内存中会存放所有的信息，包括第一映射关系和文件属性信息，以及第二映射关系和数据块属性信息；其中第一映射关系和文件属性信息相对稳定且较重要，通常还保存在本地硬盘上。

现有的分布式文件系统将数据分散存储在多个数据节点上，同时各数据节点还在本地硬盘上存储了数据的描述信息，包括文件ID和数据块属性信息。

当客户端需要从数据节点下载数据时，先根据文件路径从主节点获取对应的文件ID和节点地址；再由节点地址向对应的数据节点下载与文件ID对应的数据。当当客户端需要向数据节点上传数据时，先根据文件路径从主节点获取对应的文件ID，再为该文件ID选取节点地址，向节点地址对应的数据节点上传数据。

在实际运用中，会出现分布式文件系统宕机的情况；若主节点宕机，只有本地硬盘中的信息被保留下来，保存于内存的信息丢失，这部分信息可从各数据节点获取，以实现宕机恢复。

然而，由于单一的主节点对应多个数据节点，宕机时，主节点需要从各数据节点获取信息，此过程为一对多的信息收集过程，其时间较长。通常地，对于千万量级文件的分布式文件系统，宕机恢复时间在一小时以上。

发明内容

本发明提供了一种分布式文件系统进行数据处理的方法，该方法能够缩短宕机重启后的恢复时间。

本发明提供了一种分布式文件系统，该系统能够缩短宕机重启后的恢复时间。

一种分布式文件系统进行数据处理的方法，该方法包括：

元信息服务器宕机重启后，向各节点服务器发送包含元服务器ID的数据块信息获取请求；

节点服务器由数据块信息获取请求包含的元服务器ID，确定是否存储有对应的文件数据，如果有，则将相应的文件ID、节点地址和数据块属性信息反馈给元信息服务器；

元信息服务器接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息。

一种分布式文件系统，该系统包括节点服务器和多个元信息服务器；

所述元信息服务器，用于在宕机重启后，向各节点服务器发送包含元服务器ID的数据块信息获取请求，接收来自节点服务器的文件ID、节点地址和数据块属性信息，在内存中存储文件ID与节点地址之间的第二映射关系，并在内存中对应节点地址存储数据块属性信息；