[发明专利]一种数据去重的方法和系统

摘要

本发明公开了一种数据去重的方法和系统，包括以下步骤：打开关键数据文件，输入实时关键字，调用去重函数根据所述关键数据文件对所述实时关键字进行去重；所述打开关键数据文件的步骤后还包括采用内存映射的形式将所述关键数据文件读入内存中且对关键数据文件中的去重关键字进行初步分类；降低了内存的占用空间，避免了数据去重时内存消耗大，且优化了关键数据文件内的数据排列结构，有效的提高了内存利用率和数据去重效率；采用该方法的数据去重系统也同样具有上述优点。

主权项

1.一种数据去重的方法，其特征在于，包括以下步骤：打开关键数据文件，输入实时关键字，调用去重函数根据所述关键数据文件对所述实时关键字进行去重；所述打开关键数据文件的步骤后还包括以下步骤：s1.采用内存映射的形式将所述关键数据文件中的去重关键字读入内存中；s2.获取所述去重关键字的映射指针；s3.为所述去重关键字提取特征值，并根据所述特征值的相似度为所述去重关键字分类；s4.将分类相同的所述去重关键字组成优先比较集合，并以所述特征值的相同部分为该优先比较集合的特征标识；s5.获取所述特征标识并添加到所述去重函数中；s6.保存所述关键数据文件的末尾指针。