[发明专利]数据处理方法以及装置

说明书

本说明书实施例提供数据处理方法以及装置，其中数据处理方法包括：获取用户数据的存储位置元数据；在存储位置元数据满足第一预设条件的情况下，对存储位置元数据进行整合处理，获得至少一个第一层级的整合位置元数据；在第一层级的整合位置元数据满足第二预设条件的情况下，根据第一整合位置元数据的数据内容，确定对应的第二整合位置元数据，并对第一整合位置元数据和第二整合位置元数据进行整合处理，获得第二层级的整合位置元数据。如此，将存储位置元数据单独提取出来进行存储，从多个层级对存储位置元数据进行细粒度的整合，减少存储位置元数据的读放大和写放大，存储位置元数据经过多层级、细粒度的整合，可以快速高效地进行读写操作。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种数据处理方法及装置。

背景技术

随着计算机和互联网技术的快速发展，用户可以在云上进行各种各样的文件系统操作，会产生相应的用户数据以及元数据需要进行存储。现有技术中，一般采用LSM(LogStructured Merge Trees，数据组织方式)架构的Key Value Store(键值对存储器)对用户数据和元数据进行共同存储，各种数据并存以及使用较多层的SSTable(Sorted StringTable，有序字符串表)结构，导致元数据的存储和查询效率较低，读和写的放大都较为严重。

发明内容

有鉴于此，本说明书施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：

获取用户数据的存储位置元数据；

在所述存储位置元数据满足第一预设条件的情况下，对所述存储位置元数据进行整合处理，获得至少一个第一层级的整合位置元数据；

在所述第一层级的整合位置元数据满足第二预设条件的情况下，根据第一整合位置元数据的数据内容，确定对应的第二整合位置元数据，并对所述第一整合位置元数据和所述第二整合位置元数据进行整合处理，获得第二层级的整合位置元数据，其中，所述第一整合位置元数据为所述至少一个第一层级的整合位置元数据中的任一个。

可选地，所述获取用户数据的存储位置元数据之后，还包括：

确定所述存储位置元数据对应的用户数据中的有效数据；

在所述有效数据的大小低于数据阈值的情况下，对所述用户数据进行整合处理，获得有效用户数据；

根据所述有效用户数据，更新所述存储位置元数据。

可选地，所述对所述第一整合位置元数据和所述第二整合位置元数据进行整合处理，获得第二层级的整合位置元数据之后，还包括：

获取垃圾回收数据；

根据所述垃圾回收数据，对所述用户数据进行整合处理；

根据整合后的用户数据，对所述第二层级的整合位置元数据进行更新，获得第二层级的更新位置数据。

可选地，所述对所述第一整合位置元数据和所述第二整合位置元数据进行整合处理，获得第二层级的整合位置元数据之后，还包括：

确定所述第二层级的整合位置元数据对应的目标用户数据；

确定所述目标用户数据中的无效数据与有效数据之间的垃圾数据比例；

在所述垃圾数据比例满足设定整合条件时，对所述目标用户数据进行整合处理，并更新所述第二层级的整合位置元数据。

可选地，所述获取用户数据的存储位置元数据之后，包括：