[发明专利]一种基于源端重删的数据高效删除方法及系统

说明书

本发明公开了一种基于源端重删的数据高效删除方法，在备份过程中，将源端的数据流切分数据块，计算指纹，比对指纹，如果指纹不存在说明是新块，就把对应的数据块传到服务端的容器内存放，并把对应的容器标记为1，容器写满后把容器写到数据文件里，再创建一个新的容器；备份集到期被自动清理，清理掉guid对象记录；在正常业务窗口期之外的空闲时间利用预先设定的循环删除逻辑对标记为0的容器进行数据块及其指纹清理，容器标记为0表示该容器内的数据块及其指纹都没有被引用可以清理。优点：本发明采用打标记的方式，统计逻辑更简单，清理逻辑也不受重删库大小的影响，更高效。

技术领域

本发明涉及一种基于源端重删的数据高效删除方法及系统，属于数据保护技术领域。

背景技术

源端重删由于其能够降低传输带宽，减少存储空间等特点，在数据保护产品中得到了广泛的应用。为了方便说明，这里约定使用了源端重删后数据存放到重删库中，重删库包括重删指纹库和重删数据库。重删指纹库里存放数据块的索引信息，重删数据库存放数据块。使用了源端重删后的数据有如下特点：重删数据库中存放的数据块是全库唯一的，重删数据库中的大多数数据块会被多个数据源共同使用，正是这一特点才能达到减少存储空间的目的。这种特点对减少存储空间起到了积极的作用，但是却对删除操作造成很大的复杂性，重删数据库中的数据难以像普通数据那样很方便的清理。现有的做法第一种方式是记录每个数据块的引用次数，备份的时候对于重复的数据块就增加引用次数，删除的时候把包含的数据块的引用次数减去，等到引用次数为0时就说明该数据块可以被清理掉了，该数据块占用的存储空间可以释放掉了。这种方式随着重删库的增大，备份和删除性能都会有很大的影响，另外一种方式是集中清理，集中清理的方式是在特定的时间点执行，对于所有的在用的数据文件打标记，数据文件相对数据块粒度大很多，统计比较快，然后再把不在使用的数据文件及指纹删除掉，达到释放空间的目的，这种方式的弊端是粒度较大，释放空间的效果不是很好。

发明内容

本发明所要解决的技术问题是克服现有源端重删技术中，由于重删后的数据的唯一性特点，导致在做删除操作时逻辑比较复杂，效率比较低，无法快速高效的释放空间的缺陷，提供一种基于源端重删的数据高效删除方法及系统。

为解决上述技术问题，本发明提供一种基于源端重删的数据高效删除方法，在备份过程中，将源端的数据流切分数据块，计算指纹，比对指纹，如果指纹不存在说明是新块，就把对应的数据块传到服务端的容器内存放，并把对应的容器标记为1，容器写满后把容器写到数据文件里，再创建一个新的容器，所述容器包含若干数据块，重删库中包含若干固定大小的数据文件，每个数据文件包含若干容器；

备份集到期被自动清理，清理掉guid对象记录；

在正常业务窗口期之外的空闲时间利用预先设定的循环删除逻辑对标记为0的容器进行数据块及其指纹清理，容器标记为0表示该容器内的数据块及其指纹都没有被引用可以清理。

进一步的，所述容器大小固定。

进一步的，对每个所述容器进行标记的过程为：

确定备份集，所述备份集包括对象库和重删库，所述对象库存放对象文件，对象文件存放对象记录及对象的索引数据，所述重删库存放数据文件，所述数据文件存放对象包含的每个数据块的信息；

获取被引用的对象文件，根据对象的唯一标识符读取对象文件中的索引数据，根据索引数据里的指纹找到对应的容器，把对应的容器记录打上标记1。

进一步的，所述循环删除逻辑为：

S1、在备份的过程中，对于已引用的数据块，把对应的数据块所在的容器标记为1，对应的对象记录也标记为1，表示已经检查过；

S2、遍历对象记录，找到那些标记为0的对象，根据对象文件中的记录的索引信息，到重删库中找到对应数据块存放的容器的位置，并标记指纹对应的容器为1，对象记录标记为0表示还未被检查过；