[发明专利]一种数据重删方法及系统、电子设备、存储介质

说明书

本申请公开了一种数据重删方法及系统、电子设备、存储介质，用以实现数据去重，节省存储空间。本申请实施例提供的一种数据重删方法，该方法包括：客户端根据预设规则将目标数据拆分为多个数据片，并将数据片发送至全局重删模块；全局重删模块计算数据片的第一指纹信息，并在指纹库中查询第一指纹信息是否存在；当指纹库中存在第一指纹信息时，客户端删除第一指纹信息对应的数据片。

技术领域

本申请涉及显示技术领域，尤其涉及一种数据重删方法及系统、电子设备、存储介质。

背景技术

无论是云存储系统，还是传统的数据存储系统,都存在有这大量的冗余数据,有的系统中数据重复率高达70％～90％，因此对存储系统进行重复数据删除是非常迫切的也是非常必要的。去重技术可以对存储系统中冗余数据进行删除，节省存储空间的使用量，节约网络带宽,同时减少数据中心的存储花费和日常能耗。但是传统的重复数据删除技术在云储存系统进行大数据重复数据删除时面临着巨大的挑战。

发明内容

本申请实施例提供了一种数据重删方法及系统、电子设备、存储介质，用以实现数据去重，节省存储空间。

本申请实施例提供的一种数据重删方法，该方法包括：

客户端根据预设规则将目标数据拆分为多个数据片，并将数据片发送至全局重删模块；

全局重删模块计算数据片的第一指纹信息，并查询指纹库中是否存在第一指纹信息的元数据映射信息；

当指纹库中存在第一指纹信息的元数据映射信息时，客户端删除第一指纹信息对应的数据片。

在一些实施例中，根据预设规则将目标数据拆分为多个数据片，并将数据片发送至全局重删模块，具体包括：

将目标数据拆分为与重删节点对应的多个数据片，将数据片发送至对应的重删节点。

在一些实施例中，全局重删模块计算数据片的第一指纹信息，并在与重删节点对应的数据指纹库中查询第一指纹信息是否存在，具体包括：

重删节点计算接收的数据片的第一指纹信息，在与重删节点对应的指纹库中查询第一指纹信息是否存在。

在一些实施例中，当数据指纹库中存在第一指纹信息时，方法还包括：

判断第一指纹信息的身份信息与指纹库中元数据映射信息对应的身份信息是否一致；

若第一指纹信息的身份信息与指纹库中元数据映射信息对应的身份信息不一致，全局重删模块读取存储模块存储的与元数据映射信息对应的第二指纹信息，根据指纹冷热信息将第一指纹信息与第二指纹信息中的热信息作为新的第二指纹信息，并将存储模块存储的第二指纹信息更新为新的第二指纹信息。

在一些实施例中，还包括：

当指纹库中不存在第一指纹信息时，客户端向存储模块发送数据片下盘请求；

存储模块向客户端发送下盘允许信息；下盘允许信息包括数据片的内存地址；

客户端向全局重删模块发送存储请求，存储请求包括数据片的第一指纹信息以及内存地址；

全局重删模块响应于存储请求，将第一指纹信息的元数据映射信息存储至存储模块的缓存队列；

根据预设缓存规则，判断是否将元数据映射信息下盘。

在一些实施例中，根据预设缓存规则，判断是否将元数据映射信息存储至存储模块，具体包括：

判断存储模块的缓存队列的存储量是否到达预设阈值；

若是，则全局重删模块将元数据映射信息从缓存队列中删除；

若否，则按照缓存队列中的预设下盘顺序将元数据映射信息下盘。