[发明专利]从中文语料库提取知识的方法与系统

说明书

本发明公开了一种从主要用中文书写的源语料库(101)中提取知识(103)的方法、系统和计算机可读介质，用于生成中文本体库。所述方法包括步骤：从源语料库(101)获取字符串(141)，其中每个源语料库(101)代表一个概念；将所述字符串(141)分割成分割的词语或单词(142)；对所述分割的词语或单词(142)应用词性(POS)标注(113)；由所述分割的词语或单词将单独的中文词语或单词搭配成有意义的短语或复合词；从所述已分割的短语、词语或单词(142)中提取中文名词短语、词语或单词(148)；为所述提取结果推算词频；并存储所述提取结果与所述概念的词频加权向量(149)，用于生成另一个中文本体库。

技术领域

本发明涉及词语切分领域，尤其涉及一种从主要用中文书写的源语料库中提取知识的方法和系统，用于通过自动词语切分、词性(POS)标注、中文名词短语搭配和频率推算来生成中文本体库。

背景技术

在信息技术时代，每天从网络、企业计算机网络或其他数据库上传和下载大量数据。数据用户总是希望从网络、企业计算机网络或其他数据库搜索他们想要的那些信息，但有时返回的信息并不是正好的。本体库是对不同概念之间特定的相似性和联系的表示，其中每一个概念都有其独特的语义信息，以提高搜索的准确性和预测关联性。

本体库可以用不同语言的知识生成。无论使用哪种语言，都必须处理这种语言中的语料并提取用于本体库生成的关键短语。一些语言如中文，单词间没有明显的分隔词，相比英语，在语言处理中可能更难或更复杂，而且可能使知识提取变得困难。因此，很难有一种有效的分割方法来将中文文本语料库分割成有意义的短语。

传统上，中文文本语料库的文本分割是通过条件随机域(Conditional RandomField，CRF)或隐形马尔可夫模型(HMM)来实现的。这两种方法都是基于图案识别和预测的统计建模方法。然而，这些分割方法的基本单位是单词或词语而不是短语，因此所有汉字字符串中的中文短语都被分割成单词或词语用于语义相似性的推导。因此，现有技术的算法不必要地增加了用于识别的整体计数并导致用于进一步生成中文本体库的有意义结果的减少。例如，中文短语如“金融危机”被分割成“金融”和“危机”而不是提取整个短语，其中最相关的信息或知识可能由于所述分割而不被感知。

US20090313243 A1公开了一种方法来计算一个领域的语义数据源中短语的相关性分数并基于这些短语的相关性分数来计算语义数据源的权重。所述相关分数是根据一个短语在该领域语料库中的频率和该短语的预期频率来计算的。该方法具有本发明的某些特征，但具有在处理单词间没有明确的分隔符或空格的中文短语时的低效和无能的缺点。

CN101169780 A公开了一个基于语义本体库的检索系统。其中的文本索引处理单元是通过分析文本内容、提取关键词和文件标识信息建立文本索引的常规处理单元。该出版物中的语义搜索聚焦于关键词的关系和属性，而没有认识到词语切分、标记和识别相关信息的词频加权的重要性，。

US7680648 B2公开了用于改进文本分割的方法和系统。一系列字符可以被分割成多个分割字符串的组合，所公开的方法引入了出现频率来识别和选择其中的最佳可操作分割结果。该方法对没有明确分隔符的搜索查询具有较好的分割效果，但没有搭配或名词短语识别的概念，对中文句子的处理效果不明显。

由此，需要一种用于从中文语料库提取知识的更有效、更准确的方法和系统，优选是自动计算机可实现的方法和系统，以更好地实现中文本体库生成。

发明内容