[发明专利]数据去重的方法及其装置

摘要

提供了一种数据去重的方法及其装置。所述方法包括：根据FPGA板卡中的FPGA芯片的预设流水线间隙按照流水线方式对输入数据进行以下操作：利用FPGA芯片对当前输入数据进行哈希计算来获得当前输入数据的寻址哈希值和存储哈希值；利用FPGA芯片将当前输入数据的存储哈希值与存储在N级存储器中的第n级存储器中的从所述寻址哈希值起的预定步长内的所有存储哈希值进行比较以确定当前输入数据是否是重复数据，其中，所述N级存储器中的前M级存储器属于FPGA芯片内的内部存储器，所述N级存储器中的后N‑M级存储器属于FPGA板卡中位于FPGA芯片外部的外部存储器，N、M和n是正整数，N≥2，1≤M≤N‑1，1≤n≤N。