[发明专利]一种适合于中文网页文档的后缀树聚类方法

说明书

技术领域

本发明涉及后缀树聚类方法，特别是一种处理中文网页文档的方法。

背景技术

后缀树是一种能够有效地处理字符串匹配和查询的数据结构，它已经被广泛地应用于字符串的处理中，如发现最长重复子串、相似字符串匹配、字符串比较和文本压缩错误！未找到引用源。等，其优势包括处理速度快、节省空间等。一棵包含m个词(word)的字符串S的后缀树是一棵有且仅有m个叶子的树。对于每一个不是根的中间节点，至少有两个子节点，且每一条边都被标上非空的S的子串。从一个节点发出的两条边不能包含以相同词开始的子串。后缀树的最重要的特征就是对于任何一个叶子i，从根到该叶子的整个路径上的边串联起来的内容就是S从位置i起的后缀子串，即S[i,m]。

后缀树聚类(STC)算法是一种直观的文本聚类算法，它将文档聚类为一组的依据是文档含有共同的短语，并且用短语来对聚类进行直观的描述。基于后缀树聚类的主要思想是将文档看作是词的序列，而不是简单地当作一组词进行处理，因此在聚类过程中可以充分地利用词与词之间的语义信息，在寻找文档共同短语的过程中使用了后缀树数据结构。

STC作为一种新颖的、增量式的线性时间复杂度算法，生成的数据结构紧凑，节约了大量的存储空间，因此可以在很短时间内实现对大量文档的在线聚类，这一优势非常适合搜索结果集中网页数量很多而且不固定的情况。与传统的文档聚类算法相比，STC不需要预先指定类别的数目，而是由算法动态生成。此外，STC采用重叠聚类，因此可避免将一篇文档只归于一个类的现象出现。由于STC是利用文档中的短语而不是一组无序的词进行聚类，所以词间的关联语义信息可被充分考虑，使生成的类描述更加准确，便于用户了解类的内容并判断是否符合自身的查询需求。

发明内容

STC算法的提出是建立在英文网页聚类的基础上的，为满足中文网页的聚类需求，针对中文网页文档的特点，对STC算法进行了改进，使之适于中文Web信息搜索结果的聚类。

为了实现上述目的，本发明的技术方案如下：一种适合于中文网页文档的后缀树聚类方法，包括以下步骤：

A、文档预处理

搜索引擎返回的结果列表包含文档的URL、标题和摘要信息，其中URL是用来定位文档的，因此将文档的标题和摘要作为聚类算法的输入。数据预处理阶段主要分为两个部分，HTML标签及特殊符号的过滤和停用词的去除。

A1、过滤HTML标签及特殊符号

HTML标签以及特殊符号的过滤是预处理的第一个步骤，主要负责将文档中没有用的或者干扰文档信息的非汉语元素去除掉，包括HTML标签(如<br>、<p>、<td>等)、特殊字符(如@、#、%等)、标点符号(去除包括“，”、“？”、“！”、“；”等符号)、数字等字符。

A2、去除停用词

消除停用词需要定义并维护一个中文停用词表，使在后缀树构建过程中出现在停用词表中的词语全部被剔除，用以改善聚类结果的质量。

B、后缀树构建

假设为长度为m的字符串S生成一棵后缀树，首先要为树添加一条表示后缀S[1,m]的边，然后连续递归地为树添加表示后缀S[i,m]的边，其中i从2到m。

设Ni为中间后缀树，对S[i,m]进行后缀树表示。树N1包含有一条单一的边和一个叶子结点，叶子结点用1标识，边用S[1,m]标识。树Ni+1的构造基于树Ni：

在Ni中，找到从根结点开始的、并且标识能够匹配S[i+1,m]的前缀的最长路经。这条路径的查找方法如下：不断的将S[i+1,m]与从根结点开始的路径上的标识比较和匹配，直到没有更多的匹配时就得到了最长的路径；

如果没有找到与S[i+1,m]的前缀相匹配的路径，则创建一条从根节点到新叶节点i+1的边，用来标识后缀S[i+1,m]；

否则，当找到最长的路径时，存在两种状态：有可能匹配的位置在一个结点上，设为x，也可能匹配的位置在一条边的中间，设这条边为(u,v)；

如果是在一条边的中间，此时需要先将边(u,v)折为两段，在折断位置插入新的结点x，折断的位置就是和S[i+1,m]的前缀比较时，匹配的最后一个词的下一个位置；

在两种状态下，都需要创建一条新边(x,i+1)，其中结点i+1是一个新的标识为i+1的叶子，并且用S[i+1,m]的不匹配部分来表示这条边。

C、短语类识别