[发明专利]数据追加聚合方法、装置、电子设备及可读存储介质

说明书

本申请公开了一种数据追加聚合方法、装置、电子设备及计算机可读存储介质，该方法包括：获取数据追加指令；数据追加指令包括数据标识和新增数据；利用数据标识确定目标数据，并将目标数据从后端存储读取至内存；在内存中对目标数据和新增数据进行追加拼接，得到待处理数据；若待处理数据的数据量小于聚合阈值，则对待处理数据进行数据聚合，得到目标聚合数据，并将目标聚合数据存入后端存储；该方法在追加上传时将目标数据读出并在内存中进行追加上传，并当追加上传完毕后数据的数据量小于聚合阈值时进行数据聚合，可以实现追加上传与数据聚合的兼容，提高了数据提取效率的同时，保证了分布式存储集群的性能。

技术领域

本申请涉及分布式存储技术领域，特别涉及一种数据追加聚合方法、数据追加聚合装置、电子设备及计算机可读存储介质。

背景技术

追加上传，是指在已上传并存储至后端存储的可追加类型的文件后，以追加的方式将新的数据写入到该文件后续的存储路径下，使得追加部分和已上传部分组成一个完整的应用对象。在下载时可将整个应用对象下载下来，提高数据读取效率。为了提高分布式系统的效率，相关技术通常采用了小对象聚合技术，即在写入数据时，将至少两个小对象组合为一个大对象，并将该大对象写入后端存储，以此提高集群性能。然而，由于小对象已经被聚合为大对象，即便小对象为可追加类型的文件，也无法对其进行追加上传。因此相关技术中无法使得文件聚合和追加上传相兼容。

因此，相关技术存在的文件聚合与追加上传不兼容的问题，是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据追加聚合方法、数据追加聚合装置、电子设备及计算机可读存储介质，可以实现追加上传与数据聚合的兼容，提高了数据提取效率的同时，保证了分布式存储集群的性能。

为解决上述技术问题，本申请提供了一种数据追加聚合方法，包括：

获取数据追加指令；所述数据追加指令包括数据标识和新增数据；

利用所述数据标识确定目标数据，并将所述目标数据从后端存储读取至内存；

在所述内存中对所述目标数据和所述新增数据进行追加拼接，得到待处理数据；

若所述待处理数据的数据量小于聚合阈值，则对所述待处理数据进行数据聚合，得到目标聚合数据，并将所述目标聚合数据存入所述后端存储。

可选地，所述利用所述数据标识确定目标数据，包括：

利用所述数据标识获取目标元数据；所述数据标识为元数据地址；

利用所述目标元数据确定所述目标数据。

可选地，若所述待处理数据的数据量不小于聚合阈值，包括：

将所述待处理数据直接写入所述后端存储。

可选地，所述将所述目标聚合数据存入所述后端存储，包括：

更新位图信息；

将所述目标聚合数据写入所述后端存储的目标存储路径，并利用所述目标存储路径更新所述目标聚合数据对应的元数据。

可选地，还包括：

基于所述位图信息将所述目标数据从所述后端存储中删除。

可选地，在获取数据追加指令之前，还包括：

获取数据写入指令；所述数据写入指令包括所述目标数据；

判断所述目标数据的数据量是否小于所述聚合阈值；

若小于所述聚合阈值，则将所述目标数据与其他数据进行数据聚合，得到聚合数据，并将所述聚合数据存入所述后端存储。