[发明专利]面向电子图书的语义空间表示方法及系统

说明书

技术领域

本发明涉及数据处理方法，尤其涉及面向电子图书的语义空间表示方法及系统。

背景技术

随着互联网、电子商务的快速发展，电子图书的应用愈加广泛。然而，快速的组织和理解这些海量的电子图书已经远远超出了人类的认知与理解能力，只有借助计算机的高效处理才有可能从中获取人们感兴趣的知识与信息。其中，文本信息是互联网信息中的重要部分，而文本信息是一种半结构或无结构的数据，传统数据挖掘算法无法直接适用于文本挖掘，因此，将无结构的文本信息转化为结构化信息是文本挖掘的关键性、基础性的问题。文档的结构化表示模型是文档自动处理的基础。文档表示模型的优劣是影响后续处理的重要因素之一。传统的文档表示模型以向量空间模型(Vector Space Model,VSM)为主，然而，随着文本规模增大，向量空间的维数也迅速增大，造成了“维数灾难”问题，现有文本挖掘算法的性能急剧下降；其次由于忽略了词与词之间的语义相关性，同义词与多义词等语言现象导致了算法准确性的下降；同时由于向量空间模型只考虑了词频信息，而忽略了词频的空间分布信息，它无法达到更高的准确率。

发明内容

为了解决现有技术中的问题，本发明提供了一种面向电子图书的语义空间表示方法。

本发明提供了一种面向电子图书的语义空间表示方法，包括如下步骤：

A.文档分割：将电子图书按语义结构分成若干个语义单元；

B.权重计算：首先构建全文的词汇表，从而电子图书的每一个语义单元用一个词频向量表示，整个电子图书用一个词频矩阵来表示；然后根据权重计算方法针对每个词计算其权重；

C.关系图构建：根据电子图书的词频矩阵和词的权重构建一个词邻接关系图，词邻接关系图用一个邻接矩阵表示，矩阵中的每个元素值表示词邻接关系图中边的权重；

D.多维压缩：利用多维主成分分析将词邻接关系图映射到一个低维语义空间上，用该低维语义空间模型表示电子图书。

作为本发明的进一步改进，在所述文档分割步骤中，将电子图书按照自然段落划分为不同的语义单元，划分过程如下：

（1）.把全文按自然段落划分，每一个段落成为一个单独的语义单元；

（2）.如果某一个自然段落的词数目少于一个给定阀值，则把该段落合并到下个一个语义单元中。

作为本发明的进一步改进，在所述权重计算步骤中，构建词汇表的方法步骤如下：

（1）.去停词：将文档中没有具体意义的词去掉；

（2）.提取词干或提取词组：在英文中，需要对词做词干；中文需要提取文章中的词语；

（3）.计算每个词的tfidf值：计算公式如下，其中，是第u个词在整个文档中的频率，idf表示逆文档频率，n是文档的数目；

（4）.根据tfidf值选择前m个词作为文档集的词汇表。

作为本发明的进一步改进，在所述关系图构建步骤中，为了表示词空间分布，对每一个文档构建一个词关系邻接图,词汇表中每一个词作为一个顶点；在同一个语义单元中共同出现的词之间有一条边，这样，文档G_i可以用一个m×m的矩阵表示其邻接关系图，图中边的权重计算如下：