[发明专利]基于图的文本表示方法

说明书

本发明涉及文本表示技术领域,尤其是基于图的文本表示方法，其方法步骤为：确定每个文档对应图模型的最多顶点个数n，对文档进行分词、词性标注、预处理，并对其进行词频统计；选取最能代表该文档的特征词条，其个数不超过n，并记录所有特征词在文档中的先后顺序；对文档D，由其所有特征词条作为图模型的顶点，相应的特征词条的出现频率构成顶点的权重。本发明有益效果：词语义空间就是由词与词、词与词之间的约束关系所构成的网络图，用词与词之间的约束关系的强弱来表示语义距离，用图的基本元素来度量图的相似性，取得了很好的聚类效果，如果从文本的外部特征来反映其语义信息，特征词条、特征词条的频度及其特征词条的位置关系。

技术领域

本发明涉及文本表示技术领域,尤其是基于图的文本表示方法。

背景技术

在自然语言处理及相关领域中，经典的文本表示模型基本很少考虑文本中词项的顺序关系对于语义表达的作用，并且假设词项之间是相互独立的。实际上，词项之间的序的关系会影响文本的语义，汉语词序的改变往往会影响词语间的关系进而引起语义的改变。一个简单的例子是“A喜欢B”与“B喜欢A”，句子中用到的词项相同，而词序的不同导致了语义的差异。目前最为流行的文本表示模型VSM模型在其模型假设中就忽略了序的关系。

文本表示方法中最常用的就是向量空间模型，这是一种基于词袋(bag-of-words)的方法，但是它无法改变的是，这种表示方法丢失了原始文本中的很多信息，比如：文本中词的顺序、文本中句子和段落的边界等信息。

针对向量空间表示模型的缺陷，国内外许多学者提出了基于图模型的文档表示方法。如Svetlana在其论文中提出的基于辅助词典VerbNet和WordNet的文档概念图表示模型；Bhoopesh和Pushpak在他们的论文中提出了根据UNL图来构造代表文档的特征向量，并采用SOM技术对文本进行聚类；还有Inderjeet和Eric在他们的论文中也提出了用于多文档摘要提取的文档图模型表示方法。这些图模型虽然很好地体现了文档的语义信息，但都过于复杂，很难给出相似性度量标准，并且有些还需要额外的辅助信息。最近，Adam Schenker等人在他们的论文中提出了一种较为简单的基于图模型的文档表示方法，但他们的模型主要建立在文本特征词条的位置布尔关联的基础上，并没有考虑特征词条出现的频度对文本主要内容的影响。

因此，对于上述问题有必要提出基于图的文本表示方法。

发明内容

针对上述现有技术中存在的不足，本发明的目的在于提供基于图的文本表示方法，能够更好地表示文本、提高信息检索、文本分类应用的效果。

基于图的文本表示方法，其方法步骤为：步骤一：输入文本文档D；步骤二：输出文本类图G(V,E,W₁,W₂)；步骤三：确定每个文档对应图模型的最多顶点个数n；步骤四：对文档进行分词、词性标注、预处理，并对其进行词频统计；步骤五：选取最能代表该文档的特征词条，其个数不超过n，并记录所有特征词在文档中的先后顺序；步骤六：对文档D，由其所有特征词条作为图模型的顶点，相应的特征词条的出现频率构成顶点的权重；步骤七：如果两个特征词在文档的某一段落中先后出现，则它们之间有一条有向边，边的方向由先出现的特征词指向后出现的特征词，并统计这两个特征词条在该文档中共现的次数；步骤八：根据公式(1)确定特征词条的关联矩阵M，U；步骤九：根据公式对矩阵U进行归一化处理，确定归一化后的关联矩阵W。

优选地，所述公式(1)是由定义1两个特征词条之间边的权值亦即语义测度定义，语义测定定义：w_AB＝1/(num(B)-num(A))

(1)

其中，num(B)表示特征词条B在文档中的顺序号，num(A)表示特征词条A在文档中的顺序号。