[发明专利]分布式系统数据处理方法、装置、设备及介质

权利要求书

1.一种分布式系统数据处理方法，其特征在于，应用于内核客户端，包括：

接收文件读指令；

解析所述文件读指令，确定待读取文件的属性信息；

判断所述待读取文件是否具有聚合属性；

若否，则直接对所述待读取文件进行读操作；

若是，则根据所述待读取文件的元数据打开对应的聚合大文件，在所述聚合大文件的相应位置读取所述待读取文件的数据。

2.根据权利要求1所述的分布式系统数据处理方法，其特征在于，所述根据所述待读取文件的元数据打开对应的聚合大文件，包括：

根据所述待读取文件的元数据确定对应的聚合大文件的索引节点编号；

根据所述索引节点编号打开所述聚合大文件。

3.根据权利要求1所述的分布式系统数据处理方法，其特征在于，所述在所述聚合大文件的相应位置读取所述待读取文件的数据，包括：

查询所述待读取文件对应的小文件在所述聚合大文件中的偏移位置；

根据所述偏移位置，确定所述小文件；

读取所述小文件中所述待读取文件的数据。

4.根据权利要求3所述的分布式系统数据处理方法，其特征在于，在所述读取所述小文件中所述待读取文件的数据之前，还包括：

判断所述小文件的起始读取位置距离所述小文件头部的长度与所述待读取文件的长度之和是否大于所述小文件的总长度；

若是，则自动更改所述待读取文件的长度；

若否，则直接读取所述小文件中所述待读取文件的数据。

5.根据权利要求1所述的分布式系统数据处理方法，其特征在于，还包括：

接收文件写指令；

解析所述文件写指令，确定待写入文件的属性信息；

判断所述待写入文件是否具有聚合属性；

若否，则直接对所述待写入文件进行写操作；

若是，则根据所述待写入文件的元数据打开对应的聚合大文件，在所述聚合大文件的相应位置写入所述待写入文件的数据。

6.根据权利要求5所述的分布式系统数据处理方法，其特征在于，所述在所述聚合大文件的相应位置写入所述待写入文件的数据，包括：

判断所述待写入文件对应的小文件的起始写入位置距离所述小文件头部的长度与所述待写入文件的长度之和是否大于所述小文件的总长度；

若否，则直接在所述聚合大文件的相应位置写入所述待写入文件的数据；

若是，则增加临时页和构造所述小文件的页缓存，将所述聚合大文件中的原有小文件数据填充到所述临时页，填充完成后将所述临时页中的数据拷贝到所述小文件的页缓存中并下刷，下刷完成后将所述待写入文件的数据直接写入所述小文件中。

7.根据权利要求6所述的分布式系统数据处理方法，其特征在于，在所述将所述待写入文件的数据直接写入所述小文件中之后，还包括：

更新所述小文件的元数据信息；

更新所述聚合大文件的无效空间，并向聚合对象头的索引节点位图处写零。

8.一种分布式系统数据处理装置，其特征在于，应用于内核客户端，包括：

指令接收模块，用于接收文件读指令；

指令解析模块，用于解析所述文件读指令，确定待读取文件的属性信息；

属性判断模块，用于判断所述待读取文件是否具有聚合属性；

第一读操作模块，用于当所述待读取文件不具有聚合属性时，直接对所述待读取文件进行读操作；

第二读操作模块，用于当所述待读取文件具有聚合属性时，根据所述待读取文件的元数据打开对应的聚合大文件，在所述聚合大文件的相应位置读取所述待读取文件的数据。

9.一种分布式系统数据处理设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如权利要求1至7任一项所述的分布式系统数据处理方法。

10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的分布式系统数据处理方法。