[发明专利]文件的去重处理方法和装置

说明书

本发明提供一种文件的去重处理方法和装置。本发明提供的文件的去重处理方法，包括：从上述文件中获取至少两个数据块；根据预设的哈希算法分别计算每个数据块的消息摘要，并根据上述至少两个数据块的消息摘要得到组合消息摘要；根据上述组合消息摘要进行去重比对操作。本发明提供的文件的去重处理方法，可降低组合消息摘要碰撞的概率，进而降低进行全文比对的概率，从而避免因全文比对导致的增加比对的工作量、增加比对的成本的问题。

技术领域

本发明涉及数据处理技术，尤其涉及一种文件的去重处理方法和装置。

背景技术

为避免相同的文件被重复存储，占用存储系统的容量，需要进行文件去重处理。

目前，采用如下方法来判断第一文件和第二文件是否相同，以在第一文件和第二文件相同时，进行文件去重处理。首先，对第一文件和第二文件分别进行哈希处理，得到第一文件的第一消息摘要和第二文件的第二消息摘要，然后，判断第一消息摘要与第二消息摘要是否相同。若第一消息摘要与第二消息摘要不相同，则确定第一文件和第二文件不同，不执行去重处理，两个文件分别进行存储，若第一消息摘要和第二消息摘要相同，则再判断第一文件的全文和第二文件的全文是否相同，若第一文件的全文和第二文件的全文相同，则确定第一文件和第二文件相同，执行去重处理，若第一文件的全文和第二文件的全文不相同，则确定第一文件与第二文件不相同，不执行去重处理，两个文件分别存储。

采用上述方法来判断两个文件是否相同时，由于哈希处理自身的特性，不同文件进过哈希处理后，可能会得到同样的消息摘要，例如，将两个不同的文件经过MD5算法处理后，得到的消息摘要碰撞(相同)的概率为1/2¹²⁸，两个不同的文件的消息摘要碰撞的概率较高。这样，一旦两个不同的文件的消息摘要相同，为判断两个文件是否相同，就需要对两个文件进行全文比对，而这样因碰撞概率高导致的全文比对往往会增加比对的工作量，导致比对成本增加。

发明内容

本发明提供一种文件的去重处理方法，以解决现有的文件去重方法中，因文件的消息摘要碰撞的概率较高而导致的比对的工作量大、比对的成本高的问题。

本发明第一方面提供一种文件的去重处理方法，包括：

从所述文件中获取至少两个数据块；

根据预设的哈希算法分别计算每个数据块的消息摘要，并根据所述至少两个数据块的消息摘要得到组合消息摘要；

根据所述组合消息摘要进行去重比对操作。

进一步地，所述从所述文件中获取至少两个数据块，具体包括：

按照预设的内存间隔，间隔从所述文件中提取第一元数据块；

根据预设的组合策略，将所述第一元数据块组合为所述至少两个数据块。

进一步地，所述从所述文件中获取至少两个数据块，具体包括：

按照预设的数据块大小，顺序从所述文件中提取第二元数据块；

根据预设的组合策略，将所述第二元数据块组合为所述至少两个数据块。

进一步地，所述哈希算法为Rabin算法、MD5算法、SHA-1算法、SHA-224算法、SHA-256算法、SHA-384算法和SHA算法中的任一种。

本发明第二方面提供一种文件的去重处理装置，包括：获取模块，计算模块和处理模块，其中，

所述获取模块，用于从所述文件中获取至少两个数据块；

所述计算模块，用于根据预设的哈希算法分别计算每个数据块的消息摘要，并根据所述至少两个数据块的消息摘要得到组合消息摘要；

所述处理模块，用于根据所述组合消息摘要进行去重比对操作。