[发明专利]一种基于改进BM算法与后缀数组的冗余字段过滤方法

摘要

本发明涉及一种基于改进BM算法与后缀数组的冗余字段过滤方法，针对现有技术的不足，设计引入改进型BM算法，通过增大模式串的移动距离，减少移动匹配的次数，由此提高匹配效率，极大地提高冗余字段的过滤效率，尤其针对中文环境的字符冗余过滤处理上，能够大大提高冗余字段过滤效率。

主权项

1.一种基于改进BM算法与后缀数组的冗余字段过滤方法，用于实现对目标文本的过滤，其特征在于，包括如下步骤：步骤A.获得目标文本所对应的字符串S，然后进入步骤B；步骤B.根据字符串S的长度I，获得字符串S所对应的各个后缀Suffix(i)，其中，1≤i≤I，i表示字符串S中各字符的序号，Suffix(i)表示字符串S中、由第i个字符至末尾字符所构的后缀，然后进入步骤C；步骤C.针对I个后缀Suffix(i)进行大小比较，并从小至大进行排序，获得各后缀的排序，然后进入步骤D；步骤D.针对排序各后缀，依序获得两两后缀之间的最长公共前缀，然后进入步骤E；步骤E.针对排序各后缀，基于依序、相邻两后缀不属于同一字符串后缀，获得各个最长公共前缀中的最小值，即为目标文本中最大冗余字符子串，然后进入步骤F；步骤F.以目标文本所对应字符串S作为主串，目标文本中最大冗余字符子串作为模式串，查找主串中与模式串相匹配的第一个子串，并从主串中删除该子串，更新获得主串，即为目标文本过滤结果。