[发明专利]一种基于重复数据删除技术的数据管理方法及装置

说明书

本发明公开了一种基于重复数据删除技术的数据管理方法及装置，所述方法通过HASH算法计算目标数据的指纹值；并通过CRUSH映射确定目标数据的指纹值对应的存储位置；进而将目标数据作为待存数据，判断待存数据的存储位置中是否存有数据；若存有，便将待存数据的引用计数加一；若未存有，便存储待存数据，并将待存数据的引用计数置一，最后将待存数据的第一元数据信息存储。如此在进行数据存储的过程中，避免了数据的多次存储，提高了工作效率；同时，基于重复数据技术，实现了数据的管理，节约了成本，延长了存储系统的寿命。本发明实施例提供的一种基于重复数据删除技术的数据管理装置，也同样具有上述技术效果。

技术领域

本发明涉及云计算数据中心技术领域，更具体地说，涉及一种基于重复数据删除技术的数据管理方法及装置。

背景技术

随着计算机技术以及互联网行业的迅猛发展，数据信息日益增多，为了节约存储空间，实现资源共享，分布式存储系统应运而生。分布式存储系统将数据分散存储在多台独立的设备上，采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，可以提高系统的可靠性、可用性和管理效率，还易于扩展。

但是，由于众多终端都可以访问存储服务器，其中必然存在大量重复数据，占用存储空间，此时优化存储容量的重复数据删除技术解决了这一问题。重复数据删除技术通过消除存储系统中重复的数据，缩减系统中实际存储的数据或通过网络传输的数据，在备份、长期归档和数据灾难恢复等方面得到了广泛的应用。而在分布式存储领域中，为了降低存储单位容量成本，在线重复数据的处理迫在眉睫。

因此，如何在分布式存储领域中，实现重复数据技术，即利用重复数据技术在分布式存储领域中，实现数据的存储、读取以及删除操作，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种基于重复数据删除技术的数据管理方法及装置，以实现在分布式存储领域中，基于重复数据技术进行数据的存储、读取以及删除操作。

为实现上述目的，本发明实施例提供了如下技术方案：

一种基于重复数据删除技术的数据管理方法，包括：

S11、通过HASH算法计算目标数据的指纹值；

S12、通过CRUSH映射确定与所述目标数据的指纹值对应的存储位置；将所述目标数据作为待存数据，并执行S13；

S13、判断与待存数据对应的存储位置中是否存有数据；若是，则执行S14；若否，则执行S15；

S14、将与待存数据对应的引用计数加一，并执行S16；

S15、将待存数据存储至与待存数据对应的存储位置，并将与待存数据对应的引用计数置一，并执行S16；

S16、存储待存数据的第一元数据信息，所述第一元数据信息包括：待存数据的指纹值。

其中，执行所述S11之前，还包括：

S21、判断是否存在与所述目标数据对应的第二元数据信息；若是，则执行S22；若否，则执行S11；

S22、获取所述第二元数据信息；

S23、判断所述第二元数据信息中是否存在指纹值；若是，则执行S24；若否，则执行S11；

S24、比较所述目标数据的长度与预设的数据长度；若所述目标数据的长度等于所述预设的数据长度，则执行S11；若所述目标数据的长度小于所述预设的数据长度，则执行S25；

S25、将所述目标数据以及与所述第二元数据信息对应的数据进行拼接，得到拼接数据，并计算所述拼接数据的指纹值，并执行S26；