[发明专利]一种基于分布式文件系统的数据处理方法及装置

权利要求书

1.一种基于分布式文件系统的数据处理方法，其特征在于，所述方法包括写数据，具体为：

客户端调用文件创建系统类的创建命令，所述文件创建系统类返回一个文件系统输出数据流给所述客户端；主节点执行同名方法在命名空间中创建一个新的文件，并且进行一系列的检查确保创建成功，并将创建操作记录到创建日志中；

所述客户端得到所述文件系统输出数据流之后，调用写命令进行写文件操作，得到文件；

所述文件系统输出数据流接收到客户端的所述文件，写入分布式文件系统之前，向主节点申请数据块，调用远程接口中的增加数据块命令，返回一个本地数据块对象；

所述文件系统输出数据流根据返回的所述本地数据块对象，与相应的数据节点进行通信，建立数据流，将所述客户端的文件内容切割成一个一个块，写入到所述数据流中；

数据节点会根据主节点返回的本地数据块对象中的信息，建立一条数据流管道，从头节点到尾节点依次保存文件系统输出数据流写入的数据；当最后一个数据节点保存数据成功后，会沿着数据流管道逆流而上，添加写入成功信息到信息表中，最后将信息表返回给文件系统输出数据流；同时，数据节点在保存数据成功后，会调用主节点的远程调用接口的数据块接收命令，向其汇报新增数据块信息，让主节点更新第二关系；文件系统输出数据流获得数据节点返回的信息表后，就会向客户端返回真值表示写文件成功；

所述客户端就会调用关闭命令，关闭所述数据流连接，文件系统输出数据流收到客户端的关闭命令，通知主节点关闭文件，完成一次文件写入流程；

其中，所述方法包括读数据，具体为：所述客户端通过所述文件创建系统类的打开命令打开文件，相对应的所述文件创建系统类就会返回一个文件系统输出数据流给客户端；

所述客户端调用所述主节点的远程调用接口的取数据块地址命令，获得所述文件第一个数据块的保存地址；

调用所述文件系统输出数据流的读取命令读取文件数据；

所述文件系统输出数据流和数据节点建立连接，调用数据节点的读数据接口读取数据块；

当读取完该数据块后，如果文件尚未读取完，继续调用取数据块地址命令获得下一个数据块的地址；

所述文件系统输出数据流和存储所述数据块的数据节点进行通信，读取数据块内容；

重复上述读取数据块过程，直到文件读取完毕，所述客户端调用关闭命令关闭数据流；

上述写数据和读数据过程中，利用处理器GPU单元建立多个线程并行处理单元，多个线程并行处理单元中的一个线程并行处理单元对应于一个数据处理任务。

2.根据权利要求1所述的方法，其特征在于，进一步的，其中在所述写数据之前：将分布式文件系统中的小文件根据分布式文件系统的归档方法得到归档大文件。