[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本申请提供一种数据处理方法、装置、电子设备及存储介质，涉及数据处理技术领域。该方法包括：获取文件创建请求，文件创建请求包括：目标文件的大小、目标文件的名称；根据目标文件的大小、预设纠删比、以及预设的数据块的大小，确定目标文件被划分为的对象个数、以及各对象所包含的数据块数量；根据预设纠删比，在所选取的各磁盘上分别创建各对象的一个数据块，并生成文件创建信息；根据文件创建信息，分别生成目标文件的第一类元数据、以及第二类元数据并存储第一类元数据以及第二类元数据，并将第一类元数据存储至文件系统的系统磁盘中，将第二类元数据存储至文件系统的数据磁盘中。本方法可减少数据访问量，提高数据访问效率。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着大数据时代的到来，使得海量的数据需要存储，纠删码(Erasure Code，EC)是目前常用的一种数据保护方法，能够以较小的数据冗余度获得更高的数据可靠性。海量的数据存储会产生大量的元数据，元数据主要描述数据属性信息，而纠删计算需要将数据进行一定的切分后保存，因此基于纠删存储时，元数据的数据量会变得更多，而对数据进行访问时，通常是先访问元数据，因此，提高元数据的访问性能变得尤为重要。

目前常用的优化元数据访问速度的方法主要是通过硬件加速，多服务器分担访问压力的方式以提高数据访问效率。

但是，上述方法一定程度上会增加硬件消耗，使得数据处理成本较高。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种数据处理方法、装置、电子设备及存储介质，以便于提高元数据访问效率，从而提高数据处理效率。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种数据处理方法，应用于基于纠删存储的文件系统中，所述方法包括：

获取文件创建请求，所述文件创建请求包括：目标文件的大小、目标文件的名称；

根据所述目标文件的大小、预设纠删比、以及预设的数据块的大小，确定所述目标文件被划分为的对象个数、以及各对象所包含的数据块数量；

根据所述预设纠删比，在所选取的各磁盘上分别创建各对象的一个数据块，并生成文件创建信息，所述文件创建信息包括：所述目标文件的文件名称、文件大小、文件存储路径、文件标识、文件创建时间、文件所包含的对象数量、以及文件所包含的各对象中各数据块的信息，其中，各对象中的数据块包括有效数据块和冗余数据块，并且，同一对象下的各数据块分布在所选取的所述文件系统的不同磁盘上；

根据所述文件创建信息，分别生成所述目标文件的第一类元数据、以及第二类元数据，并将所述第一类元数据存储至所述文件系统的系统磁盘中，将所述第二类元数据存储至所述文件系统的数据磁盘中；所述第一类元数据包括：所述目标文件的基本信息、以及所述第一类元数据与第二类元数据之间的关联关系，所述第二类元数据包括：所述目标文件的数据块信息，所述第一类元数据的访问频率大于所述第二类元数据的访问频率。

可选地，所述根据所述文件创建信息，分别生成所述目标文件的第一类元数据、以及第二类元数据，包括：

根据所述文件名称、文件大小、文件创建时间、文件存储路径以及文件所包含的对象数量生成所述目标文件的基本信息，并且根据所述文件标识、以及文件所包含的各对象中各数据块的信息，生成所述第一类元数据与第二类元数据之间的关联关系，所述关联关系用于表征目标文件的文件标识与文件所包含的各对象中各数据块的映射关系；

根据所述目标文件的基本信息、以及所述第一类元数据与第二类元数据之间的关联关系，得到所述目标文件的第一类元数据；

根据所述文件所包含的各对象中各数据块的信息，生成所述目标文件的数据块信息，并将所述数据块信息作为所述第二类元数据。