[发明专利]一种重复数据删除的方法和系统

说明书

技术领域

本发明一般涉及数据备份，更具体地，涉及一种重复数据删除的方法和系统。

背景技术

数据备份是将数据以某种方式加以保留，以便在系统遭受破坏或其他特定情况下，重新加以利用的一个过程。数据备份是存储领域的一个重要组成部分，其在存储系统中的地位和作用都是不容忽视的。并且对一个IT系统而言，备份工作也是其中必不可少的组成部分。因为它不仅可以防范意外事件的破坏，而且还能使历史数据以最佳方式保存归档，即它为历史数据进行历史数据查询、统计和分析，以及重要信息归档保存提供了可能。

重复数据删除(De-duplication)技术通过删除数据集中的重复数据，对于重复数据，只保留其中一份，从而消除冗余数据，是一种目前主流且非常热门的存储技术。图1示出了重复数据删除技术的示意性描述，根据图1，原始数据中存在大量的重复数据，通过使用重复数据删除技术，可以得到用于存储的优化的数据，显然，存储的优化的数据需要的存储空间大大减少。重复数据删除技术目前大量应用于数据备份与归档系统，可以帮助应用程序降低数据存储量，节省网络带宽，提高存储效率，从而节省成本。

重复数据删除技术的优劣衡量标准主要有两个，即重复数据删除率(deduplocation ratios)和删除方法执行的性能。删除方法执行的性能取决于具体实现技术，而重复数据删除率则由数据自身的特征和应用模式所决定。现有的厂商已经提供很多种重复数据删除的方法，例如定长分块方法，不定长分块方法等等。但是，现有数据块级重复数据删除技术去除了重复存储的数据块后，数据的重复数据删除率就是固定的，重复数据删除率高可以更进一步节省存储和传输成本，是各个厂家不断追求的目标，因此，有必要进一步研究出重复数据删除率更高的重复数据删除方法和系统。

发明内容

因此，需要提供一种重复数据删除的方法和系统，能够进一步提高重复数据的删除率，从而进一步降低数据存储量，减少存储成本。

根据本发明的一个方面，提供了一种重复数据删除的方法，包括：

a)获得已经使用重复数据删除方法得到的至少一个原始数据对象对应的元数据和多个数据块；

b)将获得的多个数据块组合成新数据对象；

c)对新数据对象进行重复数据删除，得到新数据对象对应的新元数据和新数据块；以及

箝位臂d)存储所述至少一个原始数据对象对应的元数据、新数据对象对应的新元数据、以及新数据块。

根据本发明的另一个方面，提供了一种重复数据删除的系统，包括：

获得装置，被配置为获得已经使用重复数据删除方法得到的至少一个原始数据对象对应的元数据和多个数据块；

合成装置，被配置为将获得的多个数据块组合成新数据对象；

删除装置，被配置为对新数据对象进行重复数据删除，得到新数据对象对应的新元数据和新数据块；以及

箝位臂存储装置，被配置为存储所述至少一个原始数据对象对应的元数据、新数据对象对应的新元数据、以及新数据块。

附图说明

通过对附图中本发明示例实施例方式的更详细描述，本发明的上述、以及其它目的、特征和优势将变得更加明显，其中，相同的参考标号通常代表本发明示例实施例方式中的相同部件。

图1示出了重复数据删除技术的示意性描述；

图2示出了适于用来实现本发明实施方式的示例性计算系统100的框图；

图3示出了数据块级重复数据删除过程的步骤；

图4示出了根据本发明的一种实施方式的一种重复数据删除的方法的步骤；以及

图5示出了根据本发明的一种实施方式的一种重复数据删除的系统的结构图。

具体实施方式

将参照附图更加详细地描述本发明的优选实施方式，在附图中显示了本发明的优选实施例。然而，本发明可以以各种形式实现而不应该理解为被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且，完全将本发明的范围传达给本领域的技术人员。