[发明专利]数据去重的方法及装置

说明书

本发明属于数据统计技术领域，具体涉及一种数据去重的方法及装置。本发明的数据去重的方法包括：根据获取的目标数据构建最长公共子串表；提取两个需要进行去重判断的数据的最长公共子串，并将所述最长公共子串与所述最长公共子串表中的子串进行比较；若所述最长公共子串表中不存在与所述最长公共子串相同的子串，则对两个所述数据进行去重处理。本发明的数据去重的方法及装置，不需要频繁更新表中数据，减少了数据存储量，提高了去重过程中数据比对效率。

技术领域

本发明涉及数据统计技术领域，具体涉及一种数据去重的方法及装置。

背景技术

移动应用商店上架的应用可能存在重复的问题，有去重的需求；或者在对不同移动应用商店的应用进行数据分析时，也需要对相同的应用进行去重处理。

同一款应用会存在多个名称的问题。例如，同一款应用，在不同时间段会采用不同的名称，如视频应用软件会将最近热播剧的名字添加到应用名中。又例如，同一款应用，在不同应用商店可能会使用不同的名称，如腾讯QQ、QQ。当然还有其他情况导致同一款应用的名称不完全相同。

不同应用也会存在名称相似(存在相同字段)的问题。例如，百度与百度地图是两个不同的应用，但存在相同的字段(百度)。

现有的一种去重方式是建立基础表，在基础表中会记录同一款应用的各种不同名称，通过查表来实现去重。这种处理方式需要频繁更新基础表才能保证去重的准确性。

应当指出的是，以上仅是一种典型的应用。对于其他数据去重的应用，也可能会存在类似的问题。

发明内容

针对现有技术中的缺陷，本发明提供的数据去重的方法及装置，不需要频繁更新表中数据，减少了数据存储量，提高了去重过程中数据比对效率。

第一方面，本发明提供的一种数据去重的方法，包括：根据获取的目标数据构建最长公共子串表；提取两个需要进行去重判断的数据的最长公共子串，并将所述最长公共子串与所述最长公共子串表中的子串进行比较；若所述最长公共子串表中不存在与所述最长公共子串相同的子串，则对两个所述数据进行去重处理。

本发明提供的数据去重的方法，在初期建立完最长公共子串表后，对于新产生的数据可根据最长公共子串表实现去重判断，不需要存储每个应用的不同名称，减少了数据存储量，且不需要频繁更新表；由于只需要与最长公共子串表中的数据进行比较，减少了比对的数据量，提高了比对效率。

优选地，所述根据获取的目标数据构建最长公共子串表，包括：根据获取的目标数据形成多个数据集合，每个数据集合对应一个最大公共子串；检测每个数据集合中的目标数据指代的对象是否相同，若不相同，则将该数据集合对应的最大公共子串存入最大公共子串表。

优选地，根据获取的目标数据形成多个数据集合，每个数据集合对应一个最大公共子串，包括：对获取的目标数据进行两两比对，提取最长公共子串；将具有相同最长公共子串的应用放入同一数据集合，所述相同最长公共子串为所述数据集合对应的最大公共子串。

优选地，所述提取两个需要进行去重判断的数据的最长公共子串，包括：逐个比较两个需要进行去重判断的数据中相同位置的字符，若比较的字符相同，则继续比较下一个字符，直到比较的字符不同为止，提取出相同的字符为最长公共子串。

优选地，所述目标数据和所述数据均为应用的应用名称。

第二方面，本发明提供的一种数据去重的装置，包括：最长公共子串表构建模块，用于根据获取的目标数据构建最长公共子串表；去重判断模块，用于提取两个需要进行去重判断的数据的最长公共子串，并将所述最长公共子串与所述最长公共子串表中的子串进行比较，若所述最长公共子串表中不存在与所述最长公共子串相同的子串，则对两个所述数据进行去重处理。