[发明专利]数据去重的方法及装置

权利要求书

1.一种数据去重的方法，其特征在于，包括：

根据获取的目标数据构建最长公共子串表；

提取两个需要进行去重判断的数据的最长公共子串，并将所述最长公共子串与所述最长公共子串表中的子串进行比较；

若所述最长公共子串表中不存在与所述最长公共子串相同的子串，则对两个所述数据进行去重处理；

其中，每个目标数据指代一个对象，存入所述最长公共子串表中的最长公共子串至少对应两个不同的对象。

2.根据权利要求1所述的方法，其特征在于，所述根据获取的目标数据构建最长公共子串表，包括：

根据获取的目标数据形成多个数据集合，每个数据集合对应一个最大公共子串；

检测每个数据集合中的目标数据指代的对象是否相同，若不相同，则将该数据集合对应的最大公共子串存入最大公共子串表。

3.根据权利要求2所述的方法，其特征在于，根据获取的目标数据形成多个数据集合，每个数据集合对应一个最大公共子串，包括：

对获取的目标数据进行两两比对，提取最长公共子串；

将具有相同最长公共子串的应用放入同一数据集合，所述相同最长公共子串为所述数据集合对应的最大公共子串。

4.根据权利要求1所述的方法，其特征在于，所述提取两个需要进行去重判断的数据的最长公共子串，包括：逐个比较两个需要进行去重判断的数据中相同位置的字符，若比较的字符相同，则继续比较下一个字符，直到比较的字符不同为止，提取出相同的字符为最长公共子串。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述目标数据和所述数据均为应用的应用名称。

6.一种数据去重的装置，其特征在于，包括：

最长公共子串表构建模块，用于根据获取的目标数据构建最长公共子串表；

去重判断模块，用于提取两个需要进行去重判断的数据的最长公共子串，并将所述最长公共子串与所述最长公共子串表中的子串进行比较，若所述最长公共子串表中不存在与所述最长公共子串相同的子串，则对两个所述数据进行去重处理；

其中，每个目标数据指代一个对象，存入所述最长公共子串表中的最长公共子串至少对应两个不同的对象。

7.根据权利要求6所述的装置，其特征在于，所述最长公共子串表构建模块具体用于：

根据获取的目标数据形成多个数据集合，每个数据集合对应一个最大公共子串；

检测每个数据集合中的目标数据指代的对象是否相同，若不相同，则将该数据集合对应的最大公共子串存入最大公共子串表。

8.根据权利要求7所述的装置，其特征在于，所述最长公共子串表构建模块中，根据获取的目标数据形成多个数据集合，每个数据集合对应一个最大公共子串，包括：

对获取的目标数据进行两两比对，提取最长公共子串；

将具有相同最长公共子串的应用放入同一数据集合，所述相同最长公共子串为所述数据集合对应的最大公共子串。

9.根据权利要求6所述的装置，其特征在于，所述去重判断模块中，提取两个需要进行去重判断的数据的最长公共子串，包括：逐个比较两个需要进行去重判断的数据中相同位置的字符，若比较的字符相同，则继续比较下一个字符，直到比较的字符不同为止，提取出相同的字符为最长公共子串。

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述目标数据和所述数据均为应用的应用名称。