[发明专利]基于指纹的块粒度数据去重系统和方法

摘要

本发明提供了一种基于指纹的块粒度数据去重系统和方法，包括：对原始输入数据进行初步分块；对分块得到的块、块的头部与尾部，分别计算块的指纹、头部指纹和尾部指纹，并保存在对应数据结构中；在读取并输入物理块地址时，向下层存储系统请求数据，并在读取到数据后返回数据；在写入并输入数据时，向下层存储系统输出数据，并在写入完成后返回由存储系统分配的物理块地址；创建delta数据，并根据delta数据恢复原始数据；对系统中的去重表、头去重表、尾去重表和delta表进行条目的增删改查操作。本发明重点关注内容相似的数据去重效果，并通过在I/O模块和索引模块的设计策略保持较高的I/O吞吐量和较低的系统资源开销。