[发明专利]一种基于文本相似关系的紧凑性文本提取方法

摘要

本发明涉及一种基于文本相似关系的紧凑性文本提取方法，其特征在于包括以下步骤：1)根据输入文本集合T计算输入文本相似矩阵；2)标识输入文本中的处理文本和待处理文本；3)采用自回溯凝聚式聚类方法将处理文本集合T_process中的文本构造成具有α|T|层的树状结构，构造过程从树状结构的最底层开始，逐层向上，最终到达树状结构的最顶层；4)标识待处理文本集合T_pending中文本的类别；5)根据用户指定的代表性文本个数k提取紧凑性文本；6)输出紧凑性信息集合。本发明的紧凑性文本提取方法具有更好的内容覆盖度和更低的内容冗余度，能够更好反映原始大量文本信息的内容。

主权项

1.一种基于文本相似关系的紧凑性文本提取方法，其特征在于包括以下步骤：1)根据输入文本集合T计算输入文本相似矩阵M，具体过程为：对于一个输入文本集合T＝{t₁,t₂,...,t_n}，基于向量空间模型计算文本集合T的相似矩阵M＝(e_ij)_n×n，其中，矩阵M为n×n矩阵，e_ij为文本t_i和t_j之间的相似度，记为sim(t_i,t_j)；2)标识输入文本中的处理文本集合T_process和待处理文本集合T_pending；3)采用自回溯凝聚式聚类方法将处理文本集合T_process中的文本构造成具有α|T|层的树状结构，构造过程从树状结构的最底层开始，逐层向上，最终到达树状结构的最顶层，其中，α为阈值∈[0,1]，|T|表示集合T中包含的文本个数，具体过程为：3.1)聚类初始时，每个文本单独构成一个类，这样α|T|个文本构成α|T|个初始类，记为这些初始类构成树状结构的最底层，树状结构的最底层表示为第α|T|层，最顶层表示为第1层，表示第j层的第i个类，第j层中所有类个数表示为n_j；3.2)在树状结构的每一层j，1≤j≤α|T|，计算任意两个类之间的相似度，第j层两个类和之间的相似度按如下方式计算：3.3)在树状结构第j层，合并相似度最高的两个类和成一个类3.4)标识新生成的类中的中心文本集合和边缘文本集合其中，依次计算类中每个文本对整个类中所有文本的平均相似度，根据用户指定的阈值β∈[0,1]，平均相似度满足如下条件的文本构成中心文本集合：除去后，中剩下所有文本属于边缘文本集合3.5)重新标识集合中文本的类别，依次计算中每一个文本t_p对于当前第j层所有类的平均相似度，将t_p划分到与它平均相似度最高的类中；3.6)如果当前所有文本形成的类个数如果等于1，则停止树状结构的构造过程；如果当前所有文本形成的类个数大于1，则将第j层的类：复制到第j‑1层，开始第j‑1层迭代，重复步骤3.2)到步骤3.5)，最终将输入处理文本集合T_process构造成一树状结构，该树状结构第一层为一个类，该树状结构第一层的类囊括所有T_process中的文本；树状结构的最后一层中每个类包含T_process中的一个文本，中间层j包含有n_j‑1类4)标识待处理文本集合T_pending中文本的类别；5)根据用户指定的代表性文本个数k提取紧凑性文本；6)输出紧凑性信息集合。